Construindo o BlinkID Capture: UX e extração de dados ainda melhores

Na Microblink, temos orgulho de nos considerarmos especialistas em IA e documentos de identidade. E, no entanto, estamos sempre nos esforçando para melhorar, tanto para nossos parceiros clientes quanto para os usuários finais que interagem com nossos produtos. Na esteira de um lançamento empolgante do BlinkID, conversamos com você. Luka Slibarnosso gerente de produto BlinkID, e Daniel Balchev, engenheiro de ML da equipe, sobre como pensamos em solucionar desafios exclusivos de identidade digital e sobre a captura de imagens que alimenta nosso pacote BlinkID. As conversas abaixo foram editadas e condensadas para maior clareza.

Resolvendo desafios de identidade digital com Luka Šlibar

Estou na Microblink em várias funções desde 2014. Embora meu foco inicial fosse o desenvolvimento de negócios, acabei assumindo uma função de gerenciamento de produtos para nossas iniciativas de IA até assumir a liderança de produtos para os módulos de captura e extração da BlinkID.

Ao longo dos anos, o site Microblink processou mais de 12 bilhões de documentos de identidade diversos e, nesse período, desenvolvemos uma perspectiva única sobre as nuances e os desafios que esses documentos contêm. As identidades variam de acordo com a geografia e a pessoa, e mudam regularmente de formato e layout. Seja na abertura de uma conta ou na transferência de dinheiro, a maioria das experiências modernas e digitais do usuário que consideramos garantidas hoje depende da digitalização e da autenticação bem-sucedidas desses diversos documentos. É aí que entra o BlinkID entra em cena.

Quando se trata de resolver os desafios de nossos clientes e elevar o nível da identidade digital, dividimos o processo em três etapas principais: captura, extração e verificação.

A captura excepcional de documentos é fundamental para o sucesso da verificação downstream. Sejam quais forem as necessidades comerciais específicas, não há como fazer uma verificação precisa e confiável de documentos de identidade sem uma captura e extração de imagens fenomenais. Em outras palavras, a capacidade de verificar um documento como válido ou sinalizá-lo como potencialmente fraudulento é tão boa quanto os dados extraídos, que são tão bons quanto a captura inicial. Se a experiência de captura for desajeitada, confusa ou propensa a erros, é provável que os usuários a abandonem completamente.

Tradicionalmente, a Microblink é conhecida por desenvolver e fornecer SDKs e APIs para automatizar as duas primeiras etapas do processo com velocidade e precisão líderes do setor. BlinkIDO processamento no dispositivo da oferece uma experiência superior ao usuário com feedback em tempo real (por exemplo, “mantenha o documento parado” ou “volte”), segurança de dados e a capacidade de oferecer suporte a casos de uso sem uma conexão forte com a Internet.

No entanto, apesar de todos os avanços no poder de processamento dos telefones celulares, ele continua sendo secundário em relação ao poder de processamento de um servidor completo. Além disso, em muitos setores altamente regulamentados, como serviços bancários e financeiros, aos quais nossa tecnologia atende, as imagens capturadas são enviadas a um servidor para processamento posterior.

Embora tenhamos atendido às diversas necessidades de nossos clientes com opções de integração flexíveis e ampla cobertura de plataforma, também vimos uma oportunidade de aprimorar a abordagem existente, começando pela captura de imagens.

MicroblinkA experiência da Qualcomm na criação de produtos altamente otimizados no dispositivo nos posicionou de forma única para resolver esse desafio. Como equipe, sabemos como desenvolver modelos de ML leves e uma experiência de captura de imagem fácil de usar sem adicionar tamanho desnecessário ao SDK. Isso também tornou esse projeto atraente para o trabalho de nossas equipes multifuncionais.

Nosso recém-lançado Capture SDK integra-se aos aplicativos móveis dos clientes para permitir a fantástica experiência de captura de usuários pela qual nosso principal produto BlinkID é conhecido, sem aumentar muito o tamanho geral do aplicativo. Ele também permite o processamento e a extração de imagens mais avançados no lado do servidor, o que é essencial para nossa visão de longo prazo de oferecer a melhor solução global de verificação de documentos de identidade do mercado.

Possibilitando uma captura de imagens ainda mais inteligente e com tecnologia ML com Daniel Balchev

Entrei no Microblink no final de 2022 como um dos três primeiros funcionários em Sofia, Bulgária, e estou animado para lançar o primeiro produto em que trabalhei com a equipe! Com nossa riqueza de modelos de ML existentes e vastos dados internos para treinar novos modelos, conseguimos lançar esse SDK em apenas 5 meses.

É preciso ser uma aldeia para criar um produto como esse, e para chegar até aqui foi necessária uma estreita colaboração com vários engenheiros de ML, engenheiros de software de plataforma cruzada, designers de produtos e nossos PMs. Também conversamos com nossos clientes e colegas que lidam com o cliente para incorporar seus comentários e garantir que estamos criando o produto certo. A versão do SDK de captura de imagens está repleta de recursos, incluindo:

• Detecção automática de documentos: Nosso SDK é capaz de detectar quando o documento está visível e onde o documento está exatamente, o que nos permite determinar quando o usuário está segurando um documento muito perto ou muito longe da câmera ou em um ângulo muito grande, fornecendo instruções para orientar o usuário para uma melhor digitalização.

• Classificação do tipo de documento: Nosso novo SDK classifica os documentos em várias categorias que nos ajudam a determinar a proporção de aspecto esperada e se os documentos são de um ou dois lados. Isso é particularmente interessante porque nos permite adaptar a experiência do usuário e o fluxo de digitalização com base no documento específico. Em outras palavras, se o usuário mostrar um documento de identidade, saberemos que precisamos solicitar a frente e o verso, em vez de apenas a frente para um passaporte.

• Detecção de desfoque: detecta se o documento está desfocado e aguarda até que o usuário obtenha uma foto melhor e mais estável.
• Detecção de brilho: Se houver brilho cobrindo o documento, nós o detectaremos e instruiremos o usuário a mover o documento para que ele não apareça.
• Detecção de inclinação: sabe onde o documento está na imagem ou no quadro da câmera e nos permite estimar se o documento está inclinado ou não. Embora possamos oferecer suporte a documentos inclinados no processamento posterior, a transformação dessas imagens inevitavelmente resulta em alguma distorção da imagem transformada, o que geralmente é indesejável ao verificar se uma imagem foi adulterada. Não há como corrigir isso após a captura, portanto, a única solução é fornecer instruções em tempo real ao usuário final sobre como posicionar corretamente o documento para remover a inclinação e garantir a melhor captura de imagem possível.
• Oclusão da mão: Esse SDK reutiliza os modelos de detecção de mão do nosso modelo de verificação para detectar se a mão de um usuário está cobrindo uma parte significativa do documento. (O que é considerado “significativo” pode ser configurado na definição pelo cliente). Isso garante que não capturaremos imagens em que haja um dedo cobrindo uma parte importante do documento, por exemplo.

• Estimativa de nitidez: Capturamos vários quadros do documento de identidade do fluxo de vídeo, filtrando-os para selecionar aquele com a qualidade mais nítida para o processamento downstream mais preciso.
• Estimativa da condição de iluminação: Podemos detectar se o usuário está digitalizando em uma sala escura ou se há muita luz e instruí-lo a fazer a alteração para obter uma imagem melhor.

O resultado é um feedback do usuário mais proativo e detalhado que usa o ML para verificar a qualidade da imagem e garante a melhor digitalização possível na primeira vez, reduzindo a probabilidade de os usuários terem que repetir o processo e resultando em uma melhor extração.

Além da experiência de captura superior e da qualidade de imagem que ele proporciona, nosso SDK de captura autônomo não se limita a uma lista de documentos compatíveis, portanto, foi projetado para funcionar com todas as carteiras de identidade, carteiras de motorista e passaportes de tamanho padrão – hoje e no futuro. Se uma nova versão de documento for lançada, os clientes não precisarão sobrecarregar seus usuários com uma atualização, mas poderão simplesmente atualizar o back-end para extração.

Obrigado a Luka e Daniel por conversarem conosco!