Alimentation de systèmes décisionnels (BI, Analytics)

La Business Intelligence (BI ou système décisionnel) consistait auparavant à consolider les données du passé, puis à les analyser afin d'aider à la prise de décisions sur des actions aux conséquences futures.
Avec l'avènement des technologies et le développement de l'instantanéité, les cas d'usages se sont démultipliés : il faut désormais agir sur des actions aux résultats immédiats.

Les conséquences :

  • La donnée décisionnelle traditionnelle est croisée en temps-réel avec la donnée opérationnelle exploitée par les applications, les services, etc.  Ainsi, on est passé d'une consolidation pour la semaine suivante, à quelques jours, puis 24h, à des besoins de consolidation en temps réel.
    Dit plus rapidement : d'un système décisionnel batch à une "BI on the fly" ou décisionnel à la volée.

  • Un silotage des solutions d'intégration de données :
    • Un ETL pour la BI
    • Un outil pour les pipelines de données
    • Un EAI ou ESB pour des besoins d'échanges traditionnels
    • Un framework pour les API / Microservices

     

Business Intelligence, décisionnel, cas concret avec les étiquettes de prix dans un supermarché

Dans le monde physique : avec l'étiquette-prix électronique dans un supermarché, on peut ajuster facilement et rapidement les prix en fonction du trafic, de la concurrence, …

Dans le monde e-commerce : aller récupérer les prix de ses concurrents et ajuster sa tarification en conséquence

Quels sont les défis de la Business Intelligence (BI) d'aujourd'hui ?

La BI "traditionnelle" confrontée à la technologie Big Data

Business Intelligence, Décisionnel et technologie Big Data

L'apparition d'écosystèmes comme Hadoop a permis de résoudre de manière différente les contraintes liées à la volumétrie ou à la complexité, notamment le traitement de données non structurées. Constituant un système de stockage fiable, simple et réputé bon marché, il est désormais possible de mettre en place des Datalakes pour absorber le déluge incessant de données (issues des objets connectés IOT, des réseaux sociaux, …).

Le Data mining a fait place à des technologies issues du Big Data qui facilitent l'utilisation du Machine Learning (ML) ainsi que du Deep Learning.

Le challenge pour les DSI est de jongler entre toutes ces technologies et de construire un système cohérent et fiable qui permette, en fonction du besoin, de passer d'une BI descriptive à une BI prédictive voire prescriptive.

Exemple : dans le domaine du marketing, on cible de plus en plus à la personne, par rapport à un contexte donné, en se servant des données collectées.

Customer Data Centric - La prise de conscience des entreprises sur la valeur de la donnée / Data

La relation à la donnée a changé : il y a quelques années, la donnée était annexe, une conséquence d'une activité, générée par une application. Désormais, la donnée est au cœur de l'activité de l'entreprise : elle est la source du business et non plus une résultante à analyser.

Les entreprises deviennent "Data Centric" et "Data driven". La donnée se multiplie, revêt différents types et origines.
Il est alors nécessaire de mettre en place un système de gouvernance des données.

Il faut apporter agilité et réactivité tout en continuant à maintenir la même efficacité.

Dès lors que la donnée est au centre, il faut modéliser différemment le SI.
On devient "Customer Data Centric" et cela implique une refonte progressive de la manière de concevoir un système d'information.

Datahub, any type of exchange

Utiliser la puissance du Cloud pour la BI

datahub flexible it

By 2023, 75% of all databases will be on a cloud platform, reducing the DBMS vendor landscape and increasing complexity for data governance and integration.”
Gartner, Jan 2019

Le mouvement vers le Cloud semble inéluctable. En complément des bases de données traditionnelles, de nouvelles solutions telles que Google BigQuery, Snowflake, Amazon Redshift apparaissent.
Ces technologies exploitent les capacités intrinsèques du Cloud pour répondre aux enjeux des grands volumes de données, et du besoin de performance pour le traitement de ces données.
Le système décisionnel traditionnel arrive parfois "à bout de souffle" : système de tarification inadapté aux nouveaux enjeux; obsolète techniquement, incapable de supporter la charge exponentielle des nouveaux besoins.

Le challenge est de pouvoir utiliser intelligemment chaque technologie selon sa capacité tout en permettant que ces technologies cohabitent et échangent des données (s'alimentent mutuellement).

 

Découvrez quelques-uns de nos connecteurs Cloud

Exigence des utilisateurs - Passer à la Dataviz ou BI temps réel et interactive 

Real time busines intelligence streaming

Pendant longtemps, le rapport décisionnel - souvent institutionnel - était statique, disponible après des heures de calculs, parfois même édité le matin avec une sortie automatique sur l'imprimante du service concerné.
D'ailleurs, le lundi matin était souvent signe de stress et d'activité intense au niveau du service informatique.

Le phénomène s'est accentué avec la multiplication des appareils utilisés en mobilité dans le cadre professionnel (tablette, smartphone, …). Il faut désormais pouvoir consulter et faire des analyses sur le terrain. Les utilisateurs vivent dans le besoin instantané et sont plus exigeants sur la rapidité de traitement des données. Bien souvent ils souhaitent également intervenir eux-mêmes au niveau de la donnée. On parle dès lors de "Self service BI" / Mobile BI.

 

Choisir Stambia pour la BI, 4 critères de choix

La simplicité d'un design en quelques clics

Le mapping universel

Stambia permet de simplifier la manière de concevoir des fux d'intégration de données. La notion de mapping universel offre une vision orientée métier qui ne nécessite pas de compétence technique lors de la phase de mapping (conception des relations entre les objets). L'approche dite "top-down" permet de se concentrer sur le "Quoi "et de laisser le "Comment" être généré automatiquement par la plateforme.


Gestion unifiée de tout type de projet

Ce type de mapping permet de répondre à tout type de besoin d'intégration de données. Cela offre la capacité de traiter, avec les mêmes compétences, des projets de Business Intelligence ou de Big Data, ainsi que des projets orientés temps-réel (streaming, API, Web Services…). La courbe d'apprentissage de l'intégration de données au sein des organisations est facilitée par l'usage d'une vision universelle de la transformation des données.


La BI as a service

La possibilité de Stambia d'exposer en quelques secondes des Services Web complexes permet d'étendre les capacités décisionnelles des organisations. En effet, toute donnée de type Analytique peut être exposée : des données agrégées, des données de détail ou bien des référentiels ou dimensions de données. Cette fonctionnalité ne nécessite pas d'outil complémentaire, garantissant ainsi un niveau de réactivité exceptionnel à un coût quasi nul.

stambia designer mapping datawarehouse stambia unified data integration for Business Intelligence Analytics projects
 

La performance du mode ELT

datahub infrastructure ELT for analytics performance

Le mode ELT comme moteur de performance

Stambia est une solution qui favorise l'usage de la délégation de transformation, plus communément appelé ELT (Extract, Load and Transform). Cette philosophie d'outil permet d'obtenir les meilleures performances.

L'ELT est aussi le garant d'une scalabilité automatique et immédiate des traitements sans surcoût du côté de la solution d'intégration de données.


La puissance de l'ELT pour le Cloud et le Big Data

Le cloud est devenu l'architecture privilégiée des directions informatiques, notamment les plateformes permettant de mettre en œuvre des stratégies de type "No-Software" et "No-Harware".

Le mode ELT offre une architecture légère (sans moteur) qui satisfait les exigences des initiatives Cloud au sein des organisations, garantissant performances et simplicité de l'architecture.

La logique est identique pour les projets Big Data. Stambia, par son approche ELT, va permettre de tirer partie de toute la puissance des plateformes Big Data et No SQL sans ajouter de complexité dans l'architecture.

 

 

Industrialisation des flux

L'industrialisation est un élément clé des projets informatiques autour de la donnée. Beaucoup de possibilités s'offrent aux entreprises pour exploiter la donnée de manière agile et efficace. Par contre, une fois les phases d'expérimentation et d'innovation effectuées avec les équipes métier, vient la phase d'industrialisation.

Stambia est la solution idéale pour l'industrialisation des flux de données.

La vision à base de templates permet d'encapsuler le savoir faire technique et de le réutiliser en mode industriel, sans nécessité pour les utilisateurs de maîtriser le détail technique.

Industrial Business Intelligence with Data flow
 

La proximité avec nos clients

stambia Customers review with BI project and analytics

Nos clients nous recommandent. C'est pour Stambia la plus grande des récompenses.

Stambia, avant d'être une solution technologique, est une équipe d'experts passionnés par leur sujet. Nous cherchons à comprendre les besoins de nos utilisateurs et à leur offrir le meilleur, en produisant pour chacun le niveau de valeur attendu.

Et si vous redécouvriez avec Stambia ce qu'est un support logiciel de qualité et une équipe éditeur à votre service ?

 

Comment accélérer la Business Intelligence / Analytics

Des modes d'intégration intelligents

Stambia permet de gérer les modes d'intégration adaptés à tous les cas d'usage dans le domaine de le Business Intelligence :
  • Alimentation en mode annule et remplace : dans ce mode les données sont supprimées et réalimentées entièrement (utile pour initier les données ou s'assurer de la cohérence de certaines données de référence)
  • Alimentation en mode incrémentale: dans ce mode juste les dernières modifications sont prises en compte. Ce type d'intégration est utile pour les données volumineuses (les faits). Il peut être couplé à des fonctionnalités de détection d'événement sur les sources afin d'optimiser les flux et de s'assurer de la fraîcheur des données.
  • Alimentation en mode historisé, parfois appelé dimensions à évolution lentes (SCD en anglais). Ce mode permet de traquer dans le temps les modifications sur les données afin de faire des analyse plus poussées de l'évolution des données.
  • Alimentation automatique des modèles Data Vault. De nombreuses modélisations existent pour les systèmes de Business Intelligence. Les modèles en étoile ou la modélisation Data Vault en sont des exemples. Stambia est compatible avec ces différents modèles et permet une alimentation automatique des tables et des dimensions ou satellites associés.
stambia mapping integration type SCD Slowly Changing Dimensions

Integration types

Incremental

Cancel & Replace

Slowly Changing Dimensions

Data Vault

Specific / homemade template

La possibilité de faire évoluer la plateforme

stambia ETl unified solution for any Data analytics projects

Stambia est une plateforme adaptable. Les templates, technologies et connecteurs livrés en standard peuvent évoluer très rapidement pour couvrir des besoins spécifiques.

Le support Stambia, le réseau de partenaire et très souvent les utilisateurs eux-mêmes, peuvent créer leurs propres logiques d'intégration des données ou optimiser les composants techniques, puis réutiliser ces modifications sur des projets ultérieurs.

En cas de difficulté, les équipes Stambia sont disponibles et peuvent délivrer de nouveaux composants ou de nouveaux connecteurs dans un temps record (de quelques jours à quelques semaines), permettant aux utilisateurs de fonctionner en mode agile avec toujours une solution à portée de main.

Plus que des connecteurs

Stambia offre des composants prêts à l'emploi qui permettent de gérer les plateformes modernes les plus en vogue, aussi bien que les systèmes historiques les plus anciens.

Stambia offre des fonctionnalités étendues pour des plateforme Cloud comme Snowflake, Biq Query, Redshift, ou pour des plateformes Big Data.

Faire cohabiter la BI traditionnelle avec les plateformes nouvelles générations, ou tout simplement migrer de l'une vers l'autres, n'aura jamais été si facile.

more than only connectors

Le respect de la vie privée intégré

Business Intelligence Data Privacy requirement

De nombreux composants sont disponibles en standard dans la solution, sans nécessiter l'installation d'un outil complémentaire. C'est le cas des outils pour la protection de la vie privée.

Ce composant, intégré naturellement dans l'outil de développement (Designer), va permettre de gérer de nombreuses contraintes imposées par les projets RGPD, notamment tout ce qui touche à l'anonymisation des données et l'automatisation des tâches et des alertes.

Puissance des métadonnées pour le datalineage et la gouvernance

Grâce à son mapping universel qui simplifie la vision du développement des flux de données, Stambia propose des fonctionnalités de datalineage simples et efficaces.

Les métadonnées Stambia sont ouvertes (stockées en XML) et peuvent facilement être exportées vers des solutions de gouvernance des Systèmes d'Information ou simplement exportées vers des tables pour des analyses BI.

Une vision fine et complète des flux de données, depuis les sources jusqu'aux cibles, est à disposition des décideurs pour répondre aux enjeux de traçabilité de la donnée.

Impact Analysis Data Lineage

Spécifications techniques

SpécificationDescription

Protocole

HTTP REST / SOAP

Format de sortie

XML, JSON + tout format spécifique

Connectivité
  • Tout système de base de données (Relationnelle, NoSQL, ...)
    • Oracle
    • PostgreSQL
    • MSSQL
    • MongoDB
    • ElasticSearch
  • Cloud : Amazon Web Service, Google Cloud Platform, Microsoft Azure
  • Applications ERP : SAP, Microsoft Dynamics, ...
  • Applications SAAS : Salesforce, Snowflake...

Pour en savoir plus, consulter la documentation technique

Description

  • WSDL, WSI compliant
  • Swagger 2.0 (S19.1)
  • OpenAPI (Swagger 3.0)
  • Exposition en mode CRUD

Exécution

  • via Stambia Runtime avec possibilité de gérer un mode Cluster et Load balancing avec Apache
  • Intégration à des Load balancer existants (F5, Juniper, Fortinet, Riverbed, …)
  • Intégration native aux ordonnanceurs du marché (Opcon, Visual Tom, $universe, ...)
  • Sécurisation : clé de cryptage, gestion user / password, TLS
  • Compatible avec un conteneur d'application (Docker, ...) et un plateforme d'orchestration de conteneurs (Kubernetes, ...)
  • Compatible avec des architectures Cloud (Google Cloud Platform/ GCP, Azure, Amazon)
Version du Designer de Stambia À partir de Stambia Designer s18.2.0
Version du Runtime Stambia A partir de Stambia Runtime S17.3.0
Notes complémentaires
  • Environnement de développement : tout système supportant Stambia Designer (Windows, MacOS, Linux)
  • Environnement d’exécution : tout système supportant un environnement Java (JRE 1.7 minimum)

Vous souhaitez en savoir plus pour collecter et analyser vos données  ?

Consultez nos différentes ressources

Anonymisation
Participez à l'un de nos webinar thématique ou revoir un replay vidéo.
Webinar
Anonymisation
Demandez conseil à un des nos experts de la protection de la vie privée
Contact
Anonymisation
Découvrez nos formations et certifications
En savoir plus