- Titre : Mobicloud - Datahub Mobilité
- Présentateur : Nicolas Gillet (IFPEN)
- Résumé : La plateforme Cloud de recherche Mobicloud a été mise en place pour proposer des outils et services permettant d'adresser les thématiques d'analyse environnementale des mobilités et de réduction de l'impact environnemental du transport. Opérée par IFPEN depuis 2018, elle a été conçue pour être évolutive, sécurisée et assurer un haut niveau de disponibilité tout en simplifiant au maximum la prise en main, la mutualisation des algorithmes développés, leur validation et leur déploiement par les chercheurs IFPEN. Elle propose un ensemble de bases de données de mobilités, de web services, de pipelines de traitements automatisés , et de web applications permettant d'exposer les travaux réalisés à IFPEN dans le secteur de la mobilité. Cette présentation permettra de découvrir Mobicloud et les attendus auxquels elle répond à travers plusieurs démonstrations interactives des applications disponibles sur la plateforme.
- Sujet de recherche associé : Travaux antérieurs au projet
(*) Documents accesibles via l'authentification du portail MOBIDEC
Afficher le compte rendu
- Plateforme cloud opérée par IFPEN pour supporter les travaux de recherche
- Dédiée à la compréhension et modélisation de l'empreinte environnementale du transport
- Sorties sous forme de logiciels scientifiques, web services, outils d'aide à la décision pour les territoires et applications grand public
- Déployée depuis 2018 avec environ 40 serveurs dans le cloud
- Alimentée par une dizaine de projets de recherche avec une équipe dédiée
- Cinquantaine de web services traitant des milliers de requêtes quotidiennes
- OVHcloud choisi pour des raisons de CLOUD Act - entreprise française avec serveurs hébergés en France
- Solution Infrastructure as a Service (IaaS) permettant de gérer la majorité de la stack
- Infrastructure évolutive en fonction des besoins avec serveurs virtuels et machines physiques
- Réseau privé avec répartiteur de charges et point d'entrée unique (https://mobicloud.ifpen.com/#/)
- Sécurisation des accès via HTTPS et connexions SSH
- Gestion des accès avec authentification par rôle pour chaque contenu
- Utilisation de tokens JWT pour l'authentification
- Infrastructure protégée par des firewalls
- Approche de prévention : bases de données redondées dans différents datacenters (Gravelines, Roubaix, Strasbourg)
- Au moins deux serveurs de calcul dans des datacenters différents
- Réorientation automatique en cas de défaillance d'un service
- Système de monitoring avec Real-Time Monitoring OVH, Nagios, CollectD et Grafana
- Approche DevOps pour automatiser le passage du code chercheur au web service déployé
- Templates basés sur Python et Django pour standardiser les développements
- Les ingénieurs se concentrent sur leur code métier, le reste est automatisé
- Architecture microservices avec containerisation Docker
- Déploiement automatisé via GitLab CI
- Trois environnements : développement, pré-production et production
- Environnement de test déployé à la demande ou automatiquement toutes les nuits
- Pré-production ressemble à la production mais moins performante et avec moins de données
- Permet un déploiement dynamique pour les chercheurs sans impacter la production
- Monitoring au niveau infra et au niveau des services
- Grafana pour la détection d'erreurs et temps de réponse
- Alerting via Slack
- Technologies standards non liées au provider cloud : Docker, Docker Hub, Swagger
- Stack de monitoring classique dans le cloud
- Multiples solutions de dashboarding pour différents besoins
- Chalk'it : outil interne de prototypage rapide avec drag and drop de widgets
- Power BI et Apache Superset pour dashboards interactifs sur données
- Rapports d'études dynamiques permettant de faire évoluer les hypothèses
- JupyterHub pour visualisation de résultats d'études avec notebooks
- Streamlit pour générer des dashboards à partir de code Python
- Applications web complètes avec Angular, React, HTML/Django
- Mobility Widget pour intégrer les visualisations chez des partenaires via iFrame
- Application d'aide au choix de motorisation pour véhicules individuels
- Dashboard E4T 2040 sur l'impact environnemental des motorisations
- Outil d'analyse de compatibilité avec l'électromobilité basé sur historique Google Timeline
- Outil d'analyse Reale pour émissions polluantes en conditions réelles
- RTAMS (Real Time Monitoring System) pour simulation des émissions sur un territoire et évaluation des ZFE
- Dashboard d'analyse de l'utilisation du vélo sur un territoire
- Besoin de pipelines de traitement lourds en batch pour enrichir la donnée brute
- Apache Airflow comme ordonnanceur de tâches avec workers distribués
- Traitement périodique et automatisé : nettoyage, enrichissement et synthétisation des données
- Mise à disposition automatique de ressources en fonction du besoin
- Cercle vertueux : récupération de données, enrichissement par traitements, valorisation par nouveaux services
- MongoDB pour bases de données des web services et pipelines Airflow
- PostgreSQL avec PostGIS pour visualisation spatiale
- Mutualisation du code via packages Python réutilisables
-
Plateforme couvrant de multiples thématiques autour de la mobilité et qualité de l'air
-
Ensemble hétérogène : front, infra, web services, bases de données, pipelines, méthodologie et templates
-
Technologies actuelles considérées comme standards : Docker, microservices, Django/Jipster, monitoring, MongoDB/PostgreSQL
-
Besoins de modernisation identifiés :
- Kubernetes pour orchestration et scalabilité automatique
- Système unifié de gestion des identités (type Keycloak)
- Configuration moins manuelle