Construire l’analyse des reçus et l’intelligence des produits avec Patrick Questembert, Ingénierie

Notre équipe a toujours été passionnée par l’intersection de l’IA et du monde réel, partageant une vision audacieuse pour apporter les avantages de l’IA à chaque personne sur terre. Depuis près d’une décennie, nous développons et fournissons divers produits qui touchent actuellement plus de 300 millions d’utilisateurs dans 60 pays.

Afin de mieux faire connaître les coulisses de notre équipe, nous nous sommes entretenus avec Patrick Questembert, ingénieur, qui a développé nos solutions de données d’achat depuis le tout début, afin d’en savoir plus.

Comment avez-vous rejoint l’équipe de Microblink ?

Notre PDG, Darren, recherchait des personnes ayant une expérience préalable dans l’extraction de texte à partir d’images afin de l’aider à construire et à mettre en œuvre sa vision de l’extraction de données d’achat à partir de reçus imprimés. Notre vice-président chargé de l’ingénierie et moi-même avions déjà travaillé sur « ScanBizCards », la première application mobile permettant de scanner et de capturer des cartes de visite pour les transformer en entrées de carnet d’adresses. L’enthousiasme et le dynamisme de Darren étaient contagieux, et je l’ai donc rejoint quelques mois après cette première rencontre.

Quel était le problème initial que l’équipe cherchait à résoudre et comment a-t-il conduit à notre technologie de numérisation des reçus ?

Le principal problème technique que nous devions résoudre au début de l’année 2015 était de reconnaître les caractères sur les reçus imprimés, puis d’interpréter ce texte pour comprendre quels produits ont été achetés, les prix payés, quel commerçant, le mode de paiement, etc. Ces données de première main sur les achats des consommateurs sont très précieuses pour un certain nombre d’entreprises. Bien que nous ayons commencé avec des reçus physiques, le paysage de la vente au détail et les tendances d’achat des consommateurs continuant à se déplacer en ligne, nous avons fait évoluer notre technologie pour traiter également les achats en ligne/eCommerce.

Nous travaillons avec certaines des plus grandes applications de shopping au monde, dont certaines incitent leurs utilisateurs à prendre des photos de reçus en échange de récompenses. Notre technologie peut être intégrée sous la forme d’un SDK de numérisation des reçus pour iOS et Android, ainsi que d’une API basée sur le web.

Pouvez-vous nous expliquer en termes simples comment fonctionne l’enrichissement des données ? Qu’est-ce qui le rend si magique ?

Dans le cas des reçus physiques, par exemple, notre logiciel analyse une ou plusieurs images d’un reçu imprimé (autant d’images que nécessaire pour capturer l’intégralité du reçu) et effectue la « magie » nécessaire pour renvoyer en fin de compte une représentation numérique de toutes les informations. Nous renvoyons en outre des données supplémentaires sur les produits ou le commerçant, qui ne figurent pas sur le ticket de caisse. Par exemple, nous développons les descriptions abrégées des produits en noms de produits complets, puis nous puisons dans notre catalogue de produits pour identifier le produit exact, son code UPC, sa catégorie, etc. « CPH SENS & EN SHEI » sur un ticket de caisse CVS correspond à « Crest Pro-Health Sensitive & Enamel Shield Toothpaste » dans la catégorie des soins personnels > soins bucco-dentaires > dentifrice.

Comme pour de nombreux produits alimentés par l’IA, la magie opère grâce à une combinaison de grands modèles d’apprentissage automatique et de code construit par l’homme pour compléter l’apprentissage automatique le cas échéant. Dans le cas présent, il s’agit de modèles qui reconnaissent des mots ou des abréviations de marques dans les recettes et les transforment en noms complets, parallèlement à notre propre catalogue de 15 millions de produits, qui ne cesse de s’enrichir.

Comment traitons-nous les données relatives aux achats en ligne ?

Très vite, il est apparu que nos clients avaient également besoin de pouvoir capturer les reçus électroniques de leurs utilisateurs. Le commerce électronique se développe chaque année et représente un pourcentage de plus en plus important des achats des consommateurs. Les achats en ligne sont complexes ; certains reçus électroniques incluent le reçu proprement dit dans un fichier PDF joint [par opposition à la liste des produits au format HTML dans le courriel lui-même], tandis que certains marchands n’incluent aucune information sur les produits dans le courriel de confirmation, fournissant à la place un lien vers le compte du client, où les achats figurent dans l’historique de ses commandes. Il est loin d’être trivial d’identifier les produits à partir des courriels de confirmation ou d’extraire les diverses propriétés des produits (par exemple, le prix, la quantité, le numéro de produit, le numéro de commande, les frais d’expédition, etc.

Microblink adopte une approche innovante et multidimensionnelle de la collecte de données sur les achats en ligne, qui permet aux consommateurs de relier leur boîte aux lettres électronique ou de se connecter aux marchands pris en charge via une application mobile ou un navigateur. Contrairement au processus de capture et de téléchargement d’un reçu physique, il s’agit plutôt d’une routine de « mise en place et d’oubli » pour les consommateurs une fois qu’ils ont saisi leurs informations d’identification.

L’un des avantages d’une connexion directe avec le commerçant est que les données d’achat peuvent être collectées jusqu’à trois ans en arrière, ce qui permet d’obtenir très rapidement un grand nombre d’informations sur les données d’achat de première partie.

Quels sont les projets sur lesquels vous travaillez actuellement ?

Croyez-le ou non, je consacre encore la majeure partie de mon temps à notre technologie de numérisation des reçus physiques et des reçus électroniques, huit ans plus tard ! Mon rôle au sein de la pile technologique consiste à trouver des solutions que les modèles ML ne pourraient pas trouver seuls, ce qui signifie qu’il faut constamment résoudre des problèmes nouveaux et difficiles. Ainsi, bien que mon « terrain de jeu » soit le même tous les jours, les problèmes et leurs solutions changent constamment. J’ai arrêté de compter, mais j’ai écrit près d’un million de lignes de code au fil des ans, ce qui, pour un ingénieur, ne serait pas possible si je n’avais pas aimé cela.

Quels sont les moments les plus marquants au fil des ans ?

J’ai notamment réalisé que nous avions numérisé plusieurs milliards de reçus physiques – des milliards avec un « b », ce n’est pas une faute de frappe !

Par ailleurs, très tôt, je me souviens avoir ressenti une grande fierté lorsque nous avons atteint un niveau de précision incroyable, quelle que soit la qualité ou l’état du reçu physique : lumière vive ou faible, reçus froissés, imprimantes de point de vente défectueuses et tout le reste, nous étions capables de le capturer et de le lire.

Aussi cliché que cela puisse paraître, le temps que j’ai passé chez Microblink m’a rappelé qu’il n’y a pas de mal à commettre des erreurs, à condition de s’adapter rapidement. Il est essentiel de s’entourer de personnes talentueuses qui se soucient davantage de faire du bon travail que de bien paraître, et cela m’aide à aimer ce que je fais, ce qui est important parce que le succès commercial seul ne vous motivera que jusqu’à un certain point.