Intégrer les données en temps réel : des avancées qui ouvrent de nouveaux horizons au décisionnel

Aussi bien stratégique que tactique ou opérationnelle, la prise de décision est elle aussi soumise à l’accélération d’un monde où tout va plus vite. Pour se déterminer, le décisionnaire doit avoir une connaissance précise de la situation à l’instant même où elle a évolué. Même si chaque métier définit son « temps réel » selon ses propres rythmes – de l’ordre de quelques microsecondes pour le trading haute fréquence à celui de la minute pour les flux logistiques, par exemple –, les cas d’usage potentiels se multiplient dans tous les domaines.

Qu’il s’agisse de détecter immédiatement la fraude, d’améliorer l’expérience client avec une personnalisation en direct ou de réagir sans délai à un incident opérationnel, la capacité à prendre des décisions en temps réel devient un enjeu majeur d’efficacité opérationnelle.

Le temps réel, une discipline à part

La mise en oeuvre de systèmes temps réel est, encore aujourd’hui, une discipline à part, complexe et coûteuse. Il faut une lecture en continue des flux et les traiter au fil de l’eau, à l’aide de logiciels spécifiques (Spark Streaming, Flink…), ce qui nécessite des compétences de pointe et des infrastructures distinctes de celles des traitements par lot (batch). On peut certes contourner l’obstacle à l’aide de technologies traditionnelles en rapprochant les traitements (microbatchs), mais cette approche, lourde et peu satisfaisante, montre assez vite ses limites en termes de performance. Face aux coûts et aux difficultés, le temps réel reste donc généralement réservé aux cas d’usage où sa plus-value est indispensable. Or, de nouvelles avancées technologiques pourraient bien changer la donne. Des éditeurs cloud tels que Snowflake, Databricks par exemple, vont proposer en 2023 de nouvelles approches visant à unifier et simplifier l’exploitation de données temps réel.

Concrètement, il en résulte des « pipelines déclaratifs » qui permettent aux utilisateurs finaux de construire leurs flux de données en se focalisant uniquement sur la logique métier et en n’ayant à spécifier que les niveaux de service souhaités (fréquence des rafraîchissements, performance, volumes…). Après l’exécution des traitements sur les données (ETL vers ELT), les plateformes Data Cloud vont occuper une place encore plus centrale, prenant en charge en autonomie l’orchestration de ces traitements (au regard d’un niveau de service souhaité).

Le temps réel constitue la prochaine étape de cette révolution. On retrouve déjà sur le marché ces solutions qui vont permettre d’inclure les données temps aux pipelines déclaratifs grâce à un rafraîchissement incrémental automatique à faible latence : Dynamic Tables (par Snowflake) et : Delta Live Table (par Databricks). En d’autres termes, les données batch et temps réel pourront être utilisées ensemble, sur la même plateforme, par les mêmes personnes et avec les mêmes technologies (SQL, Python ou autre selon l’appétence des équipes). C’est un pas de géant pour la démocratisation du temps réel !

Les bénéfices des nouvelles approches cloud

Cette innovation constitue un pas de géant pour la démocratisation du temps réel car elle apporte trois avantages majeurs :

1. Développer des produits temps réel sera beaucoup plus simple et moins coûteux, puisque les infrastructures seront mutualisées avec les traitements batch. Ceci permettra d’abaisser considérablement les barrières techniques et financières qui limitaient jusqu’à présent les cas d’usage éligibles.
2. La possibilité d’utiliser des technologies non spécialisées en temps réel n’est pas anodine car elles sont souvent abondantes dans les organisations. C’est donc une opportunité de conserver et de redéployer ces équipes sur de nouveaux projets créateurs de valeur.
3. Grâce au rapprochement technique et conceptuel entre temps réel et batch, il sera possible de mêler flux chauds et froids dans une même solution, ce qui était très complexe auparavant puisque les systèmes étaient différents et cloisonnés. Ceci permettra donc d’aider à la prise de décision en replaçant aussitôt l’évènement (chaud) dans son contexte (froid). Par exemple, on pourra instantanément confronter une demande de transaction aux informations client nécessaires pour la valider.

Un autre avantage potentiel concerne l’empreinte environnementale des applications puisque la
mutualisation des systèmes et le traitement incrémental limiteront les ressources nécessaires. Toutefois, il faudra tenir compte de l’effet rebond induit par la tentation de multiplier le recours au temps réel.

Une nécessaire monté en maturité

technique est une formidable nouvelle pour l’essor du temps réel, cela ne doit pas conduire à son utilisation tous azimuts. Techniquement, rien ne s’opposera à la production d’un reporting financier au fil de l’eau, mais cela aura-t-il un sens en matière de gestion ?

Il faudra donc toujours s’interroger sur la pertinence des nouveaux cas d’usage envisagés car le risque pourrait être de noyer les personnes sous un flot ininterrompu d’informations parmi lesquelles elles pourraient finir par ne plus avoir la capacité, ou la volonté, de discerner celles qui comptent vraiment. Les avancées technologiques en matière de temps réel devront donc s’accompagner d’une montée en maturité de l’organisation afin d’en exploiter avec discernement tout le potentiel.

« Les données batch et temps réel pourront être utilisées ensemble, sur la même plateforme, par les mêmes personnes et avec les mêmes technologies. C’est un pas de géant pour la démocratisation du temps réel. »

À retenir

1. Potentiellement un levier majeur d’efficacité opérationnelle, le temps réel reste limité à quelques cas d’usage en raison de ses contraintes techniques et de son coût.
2. À coups d’innovation, les grands acteurs de la donnée dans le cloud sont en train d’abattre la séparation entre batch et données temps réel
3. À coups d’innovation, les grands acteurs de la donnée dans le cloud sont en train d’abattre la séparation entre batch et données temps réel