La Canadian National Railway, Société nationale des chemins de fer du Canada (connue sous CN) dont le siège social est situé à Montréal, au Québec, dessert le Canada et le Midwest et le sud des États-Unis.
La CN a le projet de création d’un centre de données (Data Hub) afin de centraliser les données pour de nombreuses applications métiers et commerciales. Une ébauche d’architecture de ce data hub avait déjà été préparée par une société externe.
Dans ce contexte, il m’a été demandé de compléter le projet d’architecture et de définir le niveau d’accès de sécurité à ce hub de données.
La plateforme est basée sur la distribution Cloudera avec Nifi, Kafka, Hadoop, Spark, Spark Streaming, Hive, MongoDB et PostgreDB.
J’étais en charge de la:
- Conception de l’architecture cible d’une plateforme de centralisation des données. Cette plateforme est basée sur la distribution Cloudera avec Nifi, Kafka, Hadoop, Spark, Spark Streaming, Hive, MongoDB, PostgreDB.
- Définition et conception de la stratégie de sécurité, contrôle d’accès basé sur les rôles et les balises (Apache Atlas, Ranger, Knox et Kerberos)
- Conception d’une stratégie et d’une feuille de route pour sécuriser le cluster Kafka.
- Agir en tant que conseiller technologique Big Data
- Implémentation d’un POC sur AWS pour valider la stratégie de sécurité