Creación de análisis sintáctico de recibos e inteligencia de productos con Patrick Questembert, Ingeniero

A nuestro equipo siempre le ha apasionado la intersección de la IA y el mundo real, compartiendo una visión audaz para llevar los beneficios de la IA a todas las personas del planeta. Llevamos casi una década desarrollando y suministrando diversos productos que actualmente afectan a más de 300 millones de usuarios en 60 países.

En un esfuerzo por mostrar más de nuestro equipo entre bastidores, nos sentamos con Patrick Questembert, de Ingeniería, que ha estado construyendo nuestras soluciones de datos de compra desde el principio, para saber más.

¿Cómo te uniste por primera vez al equipo de Microblink?

Nuestro director general, Darren, buscaba personas con experiencia previa en la extracción de texto de imágenes para que le ayudaran a construir y poner en práctica su visión de extraer datos de compra de los recibos impresos. Nuestro Vicepresidente de Ingeniería y yo habíamos trabajado anteriormente en «ScanBizCards», que fue la primera aplicación móvil que escaneaba y capturaba tarjetas de visita para transformarlas en entradas de la libreta de direcciones. El entusiasmo y el empuje de Darren eran contagiosos, así que me incorporé un par de meses después de aquella primera reunión.

¿Cuál era el problema original que el equipo buscaba resolver y cómo condujo a nuestra tecnología de escaneado de recibos?

El problema técnico clave que necesitábamos resolver a principios de 2015 era reconocer los caracteres de los recibos impresos, y luego interpretar ese texto para comprender qué productos se compraron, los precios pagados, qué comerciante, el método de pago, etc. Esos datos de compra del consumidor de primera mano son muy valiosos para varias empresas. Aunque empezamos con recibos físicos, como el panorama minorista y las tendencias de compra de los consumidores siguen moviéndose en línea, hemos evolucionado nuestra tecnología para gestionar también las compras en línea/eCommerce.

Trabajamos con algunas de las mayores aplicaciones de compras para consumidores del mundo, algunas de las cuales incentivan a sus usuarios a hacer fotos de los recibos a cambio de recompensas. Nuestra tecnología puede integrarse en forma de SDK de escaneado de recibos para iOS y Android, así como en una API basada en web.

¿Puedes explicar en términos sencillos cómo funciona nuestro enriquecimiento de datos? ¿Qué lo hace tan mágico?

Con los recibos físicos, por ejemplo, nuestro software analiza una o varias imágenes de un recibo impreso [tantas imágenes como sean necesarias para capturar el recibo completo] y realiza la «magia» necesaria para devolver, en última instancia, una representación digital de toda la información. Además, devolvemos datos adicionales sobre los productos o el comerciante, que no se encuentran en el recibo. Por ejemplo, ampliamos las breves descripciones abreviadas de los productos para convertirlas en nombres completos, y luego recurrimos a nuestro catálogo de productos para identificar el producto exacto, su código UPC, su categoría y mucho más. «CPH SENS & EN SHEI» en un recibo de CVS se asigna a «Pasta dentífrica Crest Pro-Health Sensitive & Enamel Shield» en la categoría de cuidado personal > cuidado bucal > pasta dentífrica.

Como muchos productos impulsados por IA, la magia se produce mediante una combinación de grandes modelos de aprendizaje automático y código construido por humanos para complementar el ML cuando proceda. En este caso, se trata de modelos que reconocen palabras o abreviaturas de marcas en los recibos y las amplían a nombres completos, junto con nuestro propio catálogo de 15 millones de productos y creciendo.

¿Cómo tratamos los datos de las compras online?

Desde el principio, quedó claro que nuestros clientes también necesitaban la capacidad de capturar los recibos electrónicos de sus usuarios. El comercio electrónico crece cada año y representa un porcentaje cada vez mayor de las compras de los consumidores. Las compras en línea son complejas; algunos recibos electrónicos incluyen el recibo real en un PDF adjunto [en lugar de enumerar los productos en el HTML del propio correo electrónico], mientras que algunos comerciantes no incluyen ninguna información sobre el producto en el correo electrónico de confirmación, sino que proporcionan un enlace a la cuenta del cliente donde figuran las compras en su historial de pedidos. No es ni mucho menos trivial identificar los productos a partir de los correos electrónicos de confirmación o extraer las distintas propiedades de los productos (por ejemplo, precio, cantidad, número de producto, número de pedido, gastos de envío, etc.) con precisión y eficacia.

Microblink adopta un enfoque innovador y múltiple para la recopilación de datos de compras en línea que permite a los consumidores vincular su bandeja de entrada de correo electrónico o conectarse a los comercios admitidos mediante una aplicación móvil o a través de un navegador. A diferencia del proceso de capturar y cargar un recibo físico, se trata más bien de una rutina de «configúralo y olvídate» para los consumidores una vez que han introducido sus credenciales.

Una de las ventajas de la conexión directa con el comerciante es que se pueden recopilar datos de compra de hasta tres años de antigüedad, lo que permite obtener muy rápidamente un gran volumen de datos de compra de primera mano.

¿En qué proyectos estás trabajando actualmente?

Lo creas o no, sigo dedicando la mayor parte de mi tiempo a nuestra tecnología de escaneado de recibos físicos y recibos electrónicos, ¡ocho años después! Mi función dentro de la pila tecnológica es averiguar cosas que los modelos ML no podrían hacer por sí solos, lo que significa resolver problemas nuevos y desafiantes todo el tiempo. Así que, aunque mi «patio de recreo» es el mismo todos los días, los problemas y sus soluciones cambian constantemente. He dejado de contar, pero he escrito cerca de un millón de líneas de código a lo largo de los años, lo cual, para un ingeniero, no sería posible si no disfrutara con ello.

¿Cuáles son algunos de los momentos más destacados a lo largo de los años?

Un momento culminante fue cuando me di cuenta de que habíamos escaneado varios miles de millones de recibos físicos – ¡miles de millones con «b», no es una errata!

Además, muy al principio, recuerdo que me sentí muy orgulloso cuando llegamos a un punto en el que la precisión era increíble, sin importar la calidad o el estado del recibo físico: luz brillante o tenue, recibos arrugados, impresoras de puntos de venta defectuosas y todo eso, éramos capaces de capturarlo y leerlo.

Aunque suene a cliché, mi tiempo en Microblink es un recordatorio de que no pasa nada por cometer errores, siempre que te adaptes rápidamente. Es esencial rodearse de gente con talento a la que le importe más hacer un buen trabajo que quedar bien, y eso me ayuda a amar lo que hago, lo cual es importante porque el éxito empresarial por sí solo sólo te motivará hasta cierto punto.