Criação de análise de recibos e inteligência de produto com Patrick Questembert, Engenharia

Nossa equipe sempre foi apaixonada pela interseção entre a IA e o mundo real, compartilhando uma visão ousada de levar os benefícios da IA a todas as pessoas do planeta. Por quase uma década, desenvolvemos e fornecemos diversos produtos que atualmente impactam mais de 300 milhões de usuários em 60 países.

Em um esforço para mostrar mais da nossa equipe nos bastidores, conversamos com Patrick Questembert, do departamento de Engenharia, que vem desenvolvendo nossas soluções de dados de compras desde o início, para saber mais.

Como você entrou para a equipe do Microblink?

Nosso CEO, Darren, estava procurando pessoas com experiência prévia em extração de texto de imagens para ajudá-lo a criar e implementar sua visão de extrair dados de compras de recibos impressos. Nosso vice-presidente de engenharia e eu já havíamos trabalhado no “ScanBizCards”, que foi o primeiro aplicativo móvel a escanear e capturar cartões de visita para transformá-los em entradas de catálogo de endereços. O entusiasmo e a motivação de Darren eram contagiantes, por isso entrei na empresa alguns meses depois da primeira reunião.

Qual era o problema original que a equipe estava procurando resolver e como ele levou à nossa tecnologia de digitalização de recibos?

O principal problema técnico que precisávamos resolver no início de 2015 era reconhecer caracteres em recibos impressos e, em seguida, interpretar esse texto para entender quais produtos foram comprados, os preços pagos, qual comerciante, método de pagamento etc. Esses dados primários de compra do consumidor são muito valiosos para várias empresas. Embora tenhamos começado com recibos físicos, à medida que o cenário do varejo e as tendências de compras do consumidor continuam a se mover on-line, evoluímos nossa tecnologia para lidar também com compras on-line/eCommerce.

Trabalhamos com alguns dos maiores aplicativos de compras para consumidores do mundo, alguns dos quais incentivam seus usuários a tirar fotos de recibos em troca de recompensas. Nossa tecnologia pode ser incorporada na forma de um SDK de digitalização de recibos para iOS e Android, bem como uma API baseada na Web.

Você pode explicar em termos leigos como funciona o nosso enriquecimento de dados. O que o torna tão mágico?

Com recibos físicos, por exemplo, nosso software analisa uma ou mais imagens de um recibo impresso [quantas imagens forem necessárias para capturar o recibo inteiro] e realiza a “mágica” necessária para retornar uma representação digital de todas as informações. Além disso, retornamos dados adicionais sobre os produtos ou o comerciante, não encontrados no recibo. Por exemplo, expandimos as descrições curtas e abreviadas dos produtos para nomes completos e, em seguida, acessamos nosso catálogo de produtos para identificar o produto exato, seu código UPC, categoria e muito mais. “CPH SENS & EN SHEI” em um recibo da CVS é mapeado para “Crest Pro-Health Sensitive & Enamel Shield Toothpaste” na categoria de cuidados pessoais > oral care > toothpaste.

Como muitos produtos com tecnologia de IA, a mágica acontece por meio de uma combinação de grandes modelos de aprendizado de máquina e código criado por humanos para complementar o aprendizado de máquina, quando aplicável. Neste caso, estamos lidando com modelos que reconhecem palavras ou abreviações de marcas em recibos e as expandem para nomes completos, juntamente com nosso próprio catálogo de 15 milhões de produtos e em crescimento.

Como lidamos com os dados de compras on-line?

Logo no início, ficou claro que nossos clientes também precisavam da capacidade de capturar os recibos eletrônicos de seus usuários. O comércio eletrônico cresce a cada ano, representando uma porcentagem cada vez maior das compras dos consumidores. As compras on-line são complexas; alguns recibos eletrônicos incluem o recibo real em um PDF anexado [em vez de listar os produtos no HTML do próprio e-mail], enquanto alguns comerciantes não incluem nenhuma informação sobre o produto no e-mail de confirmação, fornecendo um link para a conta do cliente, onde as compras existem no histórico do pedido. Não é nada trivial identificar produtos em e-mails de confirmação ou extrair as várias propriedades do produto (por exemplo, preço, quantidade, número do produto, número do pedido, taxas de envio etc.) com precisão e eficiência.

Microblink A empresa de tecnologia de informação e comunicação (Ericsson) adota uma abordagem inovadora e multifacetada para a coleta de dados de compras on-line que permite que os consumidores vinculem suas caixas de entrada de e-mail ou se conectem a comerciantes compatíveis por meio de um aplicativo móvel ou navegador. Ao contrário do processo de captura e upload de um recibo físico, essa é uma rotina mais do tipo “configure e esqueça” para os consumidores depois que eles inserem suas credenciais.

Um dos benefícios de uma conexão direta com o comerciante é que os dados de compra podem ser coletados há até três anos, permitindo um grande volume de insights de dados de compra primários muito rapidamente.

Em quais projetos você está trabalhando atualmente?

Acredite ou não, ainda passo a maior parte do meu tempo em nossa tecnologia de digitalização de recibos físicos e recibos eletrônicos – oito anos depois! Minha função na pilha de tecnologia é descobrir coisas que os modelos de ML não conseguiriam fazer sozinhos, o que significa resolver problemas novos e desafiadores o tempo todo. Portanto, embora meu “playground” seja o mesmo todos os dias, os problemas e suas soluções mudam o tempo todo. Parei de contar, mas escrevi cerca de um milhão de linhas de código ao longo dos anos, o que, para um engenheiro, não seria possível se eu não tivesse gostado.

Quais são os momentos marcantes que você teve ao longo dos anos?

Um destaque foi quando percebi que tínhamos digitalizado vários bilhões de recibos físicos – bilhões com um “b”, não um erro de digitação!

Além disso, logo no início, lembro-me de ter ficado muito orgulhoso quando chegamos a um ponto em que a precisão era incrível, independentemente da qualidade ou da condição do recibo físico: luz forte ou fraca, recibos amassados, impressoras de ponto de venda com defeito e tudo mais, conseguíamos capturar e ler.

Por mais clichê que pareça, meu tempo na Microblink é um lembrete de que não há problema em cometer erros, desde que você se ajuste rapidamente. É essencial cercar-se de pessoas talentosas que se preocupam mais em fazer um bom trabalho do que em ter uma boa aparência, e isso me ajuda a amar o que faço, o que é importante porque o sucesso nos negócios, por si só, só vai motivar você até certo ponto.