Croix Bleue du Québec

Architecte Solutions Big Data

Croix Bleue du Québec est une marque déposée en matière d’assurance santé personnelle et d’assurance voyage. Croix Bleue du Québec est exploitée par l’Association d’Hospitalisation Canassurance (Croix Bleue Canassurance), membre de l’Association canadienne des Croix Bleue.

L’Architecte en chef avait le projet de créer un hub de données, une sorte de lac de données pour centraliser les événements de données et les partager entre les applications et services métier.

Sans ce contexte j’étais en charge de la :

  • Conception d’une architecture découplée et pilotée par les événements (plate-forme DataHub) basée sur Microsoft Azure Data Lake Gen 2, Microsoft Azure Databricks (Spark, Scala), Kafka, Nifi, MongoDB, MySQL, Atlas, Ranger
  • Définition d’une stratégie de sécurité (RBAC et TBAC)
  • Agir en tant que conseiller technique et mentor
  • Travail sur une étude comparative des outils de gouvernance des données (Collibra, Informatica…)
  • Implémentation d’un POC pour illustrer Apache Spark -> interaction MarkLogic
  • Implémentation d’un POC pour illustrer l’ingestion, le traitement et le stockage d’événements en temps réel à l’aide de Nifi, Kafka, Spark, MongoDB et MySQL
La Méthodologie

Mise en place d’un environnement Marklogic afin de valider la correspondance avec les besoins métiers.

La mise en place d’un environnement d’analyse de données dans le cloud MS Azure.

Détails Clés

Rôle: Architecte Solutions / Entreprise Big Data

Date du Projet : 2020

Durée du Projet : 6 mois

Localisation : Montréal – Canada

Technologies: MS Azure, Spark (Scala), Kafka, Nifi, MongoDB, MySQL, Atlas,  Ranger, Hadoop, Hive, Marklogic

Etapes Clés

Définir la stratégie de la sécurité d'accès

Définition de la stratégie d’accès aux données. Utilisation de Atlas et Ranger pour définir les accès (Role Based Access Control) et (Tag Based Acces Control)

Préparation de l'environnement sur MS Azure

Définition de l’architecture de la plateforme de données.

Ingestion des flux de données avec Nifi et Kafka

Analyse avec Spark Databricks

Stockage avec MongoDB et MySQL

Initiation de la POC

Mise en place d’un environnement basé sur Marklogic pour valider les besoins métiers