Contexte et problématique

Notre client souhaite être au courant en temps réel des sujets qui font le buzz peut importe la cible, le sujet et le type de média. Il a donc fallu agréger un très grand nombre de données provenant de sources différentes.
Après un POC réussi, nous avons travaillé sur le développement d’une plateforme remontant quotidiennement les informations.

Objectifs

Prouver que le projet est réalisable avec un premier POC de quelques jours

Ingestion et pré-cleaning des données providers tout en industrialisant les modèles d’analyse de texte et d’image dévéloppés

Permettre aux métiers et aux clients de visualiser les tendances actuelles

Notre intervention

1 Data Architect, 1 Data Engineers, 2 Data Scientist, 1 développeur full-stack

• Définition du périmètre et lancement d’un projet pilote pour valider la faisabilité en 8 semaines.
• Mise en place de l’architecture du projet sur AWS
• Développement des algorithmes d’analyse de textes en plusieurs langues et d’images en Python
• Intégration d’algorithme d’apprentissage automatique.
• Développement de l’application de visualisation en reactJS et VueJS.

Résultats

Plateforme fonctionnelle depuis décembre 2019 pour le métier sur l’ensemble des structures monde !
En phase d’industrialisation pour le client à l’échelle du groupe
A ce jour, nous travaillant sur l’analyse de nouveaux périmètres comme sa e-réputation.

Environnement technique

Python, Go, Typescript, react.JS, vue.JS, Node.JS
AWS: S3, VPC, IAM, Cognito, ECS/ECR, Lambda, Glue, RDS, Fargate, Batch, WAF, API Gateway, DynamoDB, ElasticCache, Route53, EventBridge, SageMaker
Elastic Search, Kibana
Docker, Kubernetes, Terraform