OneBus* - Fiabilité des données sur les systèmes de mobilité des transports publics
La question de l'exactitude des données a entraîné des problèmes de responsabilité concernant les accords de niveau de service. En particulier, il y avait des problèmes avec la fiabilité des horaires des autobus affichés sur les dispositifs aux arrêts de bus, y compris des mises à jour manquantes sur les heures d'arrivée estimées et l'incapacité de refléter les changements dans les services de bus tels que les changements d'itinéraires et les annulations.
En outre, les données sur les horaires n'étaient pas disponibles pour certains arrêts de bus via l'API publique, et il y avait un manque d'informations sur la capacité des autobus affichée sur le dispositif au point d'arrêt. En outre, l'éditeur d'événements ne fournit pas de notifications sur le positionnement des bus, et des prévisions inexactes ont été faites concernant la capacité du système de transport en commun.
Notre défi
Notre défi a été de gérer une pile technologique de plus en plus complexe qui comprend un système multicloud couvrant Azure, AWS et GCP, de multiples structures de données et diverses technologies d'ingestion des données telles que des outils ETL, des fonctions Azure et des services MQTT.
De plus, l'équipe d'ingénierie des données était en aval des équipes analytiques et opérationnelles, et un système de gestion "cloud-to-device" était en place, ainsi qu'une API web publique, un portail web et une application mobile. Les notifications d'événements en temps réel ont été facilitées par un éditeur d'événements, et le système prend en charge les rapports et les analyses. Cependant, le planificateur d'exécution des pipelines a créé de fortes dépendances de données et l'équipe a été obligée d'utiliser l'auto-scaling pour atténuer les problèmes de performance.
Le client a choisi notre solution, la plateforme d'observabilité des données FLUENT, parce qu'elle permet de surveiller la santé des opérations grâce à l'ajout de métadonnées à tous les pipelines d'ingestion.
La plateforme peut suivre des paramètres importants tels que la durée des mises à jour quotidiennes de GTFS, les retards, les tentatives et le statut d'exécution ETL, ainsi que la connectivité du système GTFS-RT. Elle peut également surveiller la disponibilité des données et les changements de schémas pour GTFS et GTFS-RT, et suivre le nombre d'enregistrements pour les mises à jour quotidiennes de GTFS et les mises à jour de messages de GTFS-RT.
Fluent est équipée de capacités de profilage des données et de détection des anomalies, ce qui lui permet de détecter les changements d'horaires anormaux, tels que les changements d'heure d'arrivée aux arrêts de bus et les changements de lignes de bus pour les arrêts, ainsi que les pics dans le nombre estimé de passagers. En outre, la plateforme met en œuvre la validation des données en appliquant des règles commerciales, telles que la validation GTFS-RT basée sur les identifiants uniques de voyage GTFS et la validation de l'heure d'arrivée du prochain bus.
FLUENT - Plateforme d'observabilité des données
Le résultat
L'utilisation de la plateforme d'observabilité des données FLUENT, réalisée par Vortex AI, a été très positive pour OneBus. OneBus a mis en place un accès à signature unique à la plateforme de surveillance, permettant à toute personne ayant un courriel de l'entreprise d'y accéder. Cela a contribué à démocratiser l'accès aux outils de données, ce qui a permis d'accroître la transparence et de mettre l'accent sur la qualité des données.
Grâce à la mise en place d'un système de surveillance, d'alerte et de suivi, l'équipe d'ingénieurs a pu communiquer de manière proactive les temps d'arrêt des données aux équipes de consommateurs de données et atténuer l'impact sur le système. En outre, en mettant en place un système dans lequel les rapports et les analyses ne sont pas offerts tant que les données ne sont pas réparées, OneBus s'est assuré que la qualité des données reste une priorité absolue.
L'investissement dans l'observabilité des données a aidé OneBus à accomplir sa mission principale, qui est de tenir les passagers informés de l'état des services de transport public. Le calcul de l'heure d'arrivée prévue (ETA) basé sur les horaires du GTFS a permis aux passagers de planifier leurs déplacements avec précision.
* OneBus est un nom fictif destiné à protéger la confidentialité de notre client.
Ajouter du valeur aux vos données !
Alors que les données deviennent un actif essentiel pour les entreprises dans de nombreux secteurs, l'observabilité des données devient essentielle pour libérer tout le potentiel des données. Elle permet aux entreprises de mieux comprendre leurs données et de les utiliser pour éclairer la prise de décision et stimuler l'innovation.
