L’IA au service de la qualité des données, pour des cas d’usage toujours plus innovants

Publish date:

Selon Gartner, près de 70% des entreprises interrogées déclarent que leurs problèmes de qualité des données impactent négativement leur activité. L’intelligence artificielle est probablement la technologie ayant le plus grand potentiel pour améliorer la situation.

La disponibilité des technologies d’analyse et des ressources compétentes en data science renforcent les capacités d’innovation. L’un des enjeux principaux devient maintenant le maintien de la qualité de l’asset au cœur de ces usages : la donnée.  La qualité des données est en effet clé pour la collecte, l’agrégation, la transformation et la propagation le long de la chaine de valeur et finalement pour adresser l’ensemble des enjeux portés par le data management :

  • Développer de nouveaux usages innovants (e. g. traitement des informations collectées sur les clients pour un ciblage plus efficace des offres et services)
  • Améliorer son image de marque auprès des clients (e. g. en renforçant la confiance suscitée par l’entreprise en évitant des erreurs de facturation ou d’acheminement)
  • Gagner en efficacité opérationnelle (e. g. en réduisant les coûts de non-qualité liés aux corrections/ajustements manuels ou en identifiant les golden sources pour décommissionner les bases de données redondantes)
  • Respecter certaines contraintes règlementaires (e. g. exigences de qualité des reportings dans le cadre de BCBS239 pour les banques ou Solvency2 pour l’Assurance)

Il est maintenant acquis que la maitrise de la qualité des données passe, dans un premier temps, par la mise en place d’un cadre organisationnel et des processus dédiés.

Cependant, alors qu’aujourd’hui l’innovation par la donnée est au cœur des ambitions des entreprises, le déploiement des principes de gestion de la qualité des données ne semble plus être à la hauteur des enjeux. En effet, la plupart des cas d’usages aujourd’hui visés sont basés sur des technologies Big Data associant une forte volumétrie de données (structurées ou non), des besoins de réponses en quasi-temps réel et l’utilisation de données très variées dans des algorithmes toujours plus élaborés.

Chacune des activités de préparation et de correction des données nécessiterait un investissement beaucoup trop important. D’autant plus que les processus de qualité traditionnels sont incompatibles avec les exigences de rapidité de déploiement inhérents aux cas d’usages innovants.

L’intelligence artificielle est devenue la solution pour préparer la donnée et traiter les usages de la donnée toujours plus ambitieux, complexes et exigeants (pour par exemple fiabiliser les données nécessaires à l’analyse de comportements clients en temps réel).

Ce sont en particulier les algorithmes de Machine Learning qui sont les plus utiles et porteurs pour répondre aux enjeux de qualité des données en appuyant l’ensemble de la chaine de qualité via des outils indispensables sur le long terme. En effet, ils améliorent la qualité des données d’un bout à l’autre du spectre des activités de qualité des données. On peut notamment citer :

  • La proposition de nouveaux contrôles sur les données
  • La revue ou la définition de seuils de qualité existants
  • La détection d’incidents de qualités par reconnaissance de patterns
  • La proposition de corrections à chaud via la reconnaissance d’incidents récurrents
  • L’identification de corrélations entre des incidents pour proposer une cause racine à investiguer

Bien qu’il semble indiscutable que ces algorithmes soient un levier fiable d’efficacité, ils nécessitent malgré tout la mise en place de certains prérequis.
Le plus évident est sans doute la disponibilité des experts métiers pour les Data Scientists lors de la définition de l’algorithme et la validation des résultats.

Le second concerne l’entrainement du modèle défini, qui nécessite de disposer d’un historique de données important (par exemple, il peut s’agir des tickets d’incidents de qualités des données générés pour un reporting réglementaire). Bien qu’il soit possible de créer de fausses données (« dummy data ») pour entrainer le modèle, les résultats sont souvent moins convaincants et leur création nécessite un temps de préparation.

En complément du Machine Learning, des outils additionnels doivent être considérés pour appuyer les processus de mise en qualité des données :

  • le RPA (Robotic Process Automation) peut par exemple être une réponse rapide d’automatisation de certaines activités comme la génération de tickets d’incident, le temps qu’une solution pérenne soit trouvée. Couplée à du Machine Learning, le RPA peut aussi participer à l’identification des anomalies de qualité.
  • Les outils de visualisation avancés (« Data Vizualisation ») sont aussi souvent appréciés des équipes Data Scientists pour la reconnaissance de patterns ou pour la génération de tableaux de bord pour les équipes métiers.
  • Enfin, les outils ITSM peuvent être d’une grande aide pour suivre, sous forme de workflow, la prise en charge des anomalies de qualité des données et les assigner aux équipes en charge de leur remédiation.

Articles associés

Intelligence Artificielle

Ouvrir la « black box » : Transparence et explicabilité au cœur de l’intelligence artificielle de confiance

Sébastien Guibert
Date icon 24 octobre 2019

Aborder de manière proactive les questions éthiques dans l’intelligence artificielle...

Intelligence Artificielle

L’intelligence artificielle au service du gouvernement et du citoyen : potentiels et enjeux

Sébastien Guibert
Date icon 23 octobre 2019

Le rapport Villani publié en mars 2018 a jeté les bases de la stratégie nationale de la...

Intelligence Artificielle

Intelligence Artificielle : tirer les bénéfices des cas concrets

Sébastien Guibert
Date icon 28 janvier 2019

Parmi les technologies de l’IA, le machine learning est une révolution pour de nombreux...

Cookies

En continuant à naviguer sur le site web, vous acceptez l'utilisation des cookies

Pour changer la configuration des cookies sur votre ordinateur ou obtenir davantage d’information, veuillez consulter la page Données personnelles

Fermer

Fermer les informations cookies