L'architecture data orientée événements (event-driven / EDA) avec Stambia

La gestion des données est un enjeux majeur pour les organisations. Mais ce qui l'est davantage aujourd'hui est de traiter la donnée rapidement.

De plus en plus, nous souhaitons réagir en temps réel aux événements survenant au sein d'un système d'information.

Plus que la gestion de la donnée elle-même, c'est la gestion des événements sur les données qui devient de plus en plus pertinente tant pour les analyses que pour la gestion opérationnelle..

Découvrez comment capter vos événements sur les données en toute simplicité avec une architecture oriéntée événements grâce à Stambia.

Le premier enjeux est de pouvoir prendre des décisions immédiatement.
Or, pour prendre une décision, il faut de l'information.

Ingérer, détecter des données, en temps-réel ou au fil de l'eau, permet de bâtir des systèmes analytiques (décisionnels) qui fournissent une vue immédiate de la situation.

Les flux d'intégrations des données doivent donc permettre à la fois un traitement sur des fortes volumétries (agrégations, ingestion de données complètes) mais également un traitement sur de petites volumétries, en temps-réel.

Dans certains domaines, le temps de réaction est primordial. On peut penser aux chaines de production d'un industriel, qui fonctionnent en flux tendu : la moindre défaillance, le plus petit retard, peut engendrer des conséquence sur toute la chaîne de valeur.

C'est pourquoi il est important de pouvoir détecter très en amont le moindre indice permettant de réagir au plus vite. Cette détection sera possible si nous savons intégrer la donnée en provenance des capteurs des équipements industriels.

Le constat sera le même pour le traitement d'une commande ou d'incidents relatifs à une commande. Plus nous sommes prévenus rapidement, plus nous pouvons réagir au bon moment.

On le sait désormais, toute la donnée ne se trouve pas qu'à l'intérieur d'une organisation. Beaucoup d'analyse de données ou de processus de gestion intègrent désormais des données extérieures (comme la météo, les cours de bourse ou les taux de changes, etc.).

Ces données sont en très grande partie disponibles sur internet soit de manière publique, soit par le biais d'API privées.

Il est devenu indispensable pout toute société d'être en mesure de collecter des informations extérieures pour connaître l'état de son écosystème et optimiser les opérations..

Les objets connectés (IOT) font beaucoup parler d'eux.

En effet, tout individu aujourd'hui dispose d'au moins un objet connecté en permanence à portée de main (téléphone, montre, ordinateur, pèse personne, réfrigérateur, aspirateur, ….).

Chacun de ces objets est porté d'information sur lui-même (sa propre santé) ou sur l'activité, voire la santé, de celui qui l'utilise. Cette information, extraite et utilisée au bon moment peut apporter de grands services non seulement aux organisations mais aussi aux individus, permettant même parfois de leur sauver la vie.

La mise en place de mécanismes de détection des données en provenance d'objets connectés peut donc être un élément clé dans la réussite de certains projets d'entreprise..

Un des premiers types d'événement, ce sont les présences de données sur les périphériques systèmes.

La présence de fichiers dans un répertoire, sur un serveur FTP ou SSH, ou bien encore la présence d'un email avec une pièce jointe.

Cela reste l'événement encore le plus fréquemment utilisé au sein des organisations.

Stambia propose des mécanismes de détection intelligente de ces évènements, ainsi que des mécanismes de gestion automatisés, comme la création ou l'alimentation automatique de tables de suivi et pilotage de ces événements.

.

.

De plus en plus présents au sein des organisations les architectures à base de messages, proposant des mécanismes de "publish & subscribe", sont également des sources ou cibles des traitements Stambia.

Du traditionnel connecteur JMS ou AMQP, à l'usage de bus Open Source comme Kafka, la réception ou la publication de messages se fait graphiquement et permet la conception de flux de type Asynchrone ou en mode streaming..

Les données en provenance de capteurs ou d'objets connectés sont aussi des éléments importants dans le processus de digitalisation de certaines organisations.

Stambia permet de se connecter à ces sources (ou même des cibles) en utilisant les protocoles standards de ces architectures, tel que MQTT pour les objets connectés et OPC pour les capteurs industriels.

L'avantage de la solution Stambia est de rester identique dans son mode de développement quel que soit le type de projet, de source, de cible, ou la fréquence d'exécution des traitements.

Les données importantes viennent encore majoritairement des applications traditionnelles, reposant très souvent sur des bases de données relationnelles.

Ainsi, la détection des changements dans ces bases de données, par des mécanismes de Change Data Capture, demeure un des éléments pertinents pour alimenter des systèmes en quasi temps-réel.

Stambia propose nativement des fonctionnalités de détection des changements dans les bases de données source. Ces détections de changements avec Stambia peuvent se faire de plusieurs manières.

• Par trigger sur les tables et objets
• Par utilisation des API de CDC fournies par les éditeurs de bases de données
• Par la lecture des journaux de bases de données (lorsque ceux-ci sont lisibles)
• Par le partenariat avec des éditeurs spécialisés dans ce type de détection

Une fois ces détections opérées, Stambia prend en compte automatiquement dans ses mappings les données qui ont changé en source.

Il n'y a aucune gestion complémentaire à réaliser. Toute donnée nouvelle sera prise en compte et intégrée de manière intelligente dans les cibles.

La détection des changements ou des événements est importante.

Néanmoins, un changement dans une source ne signifie pas nécessairement un changement dans les cibles.

En effet, en fonction de la donnée modifiée en source, ainsi que de ce qui s'est passé entre temps dans la cible, il se peut que la modification ne soit pas nécessairement à appliquer dans les systèmes cibles.

Pour prendre en compte ces règles de gestions particulières, Stambia met à disposition des modes d'intégration cible qui permettront d'intégrer intelligemment les données.

Par exemple, le mode "incrémental" permettra de comparer les données sources, issues des changements détectés, avec les données cibles déjà existantes et de décider s'il faut insérer, mettre à jour, voire historiser les données..

Enfin, une solution efficace est de réagir immédiatement et de manière synchronisé, dès qu'un événement se produit. L'architecture SOA est une approche également perticente. Stambia permet d'exposer des services web de manière graphique et sans aucune ligne de programmation.

Ces services web peuvent être appelés par tout type de programme et donc être intégrés aux processus de gestion de l'entreprise.

Cela permet non seulement de réagir immédiatement, mais aussi de se placer dans une système de questions/réponses entre les applications. La construction de processus de gestion complexe peut donc être réalisée avec une grande simplicité et beaucoup d'agilité.