Shift Hackathon - Gen AI

Lors du Hackathon GenAI organisé par Shift, j’ai pitché devant plus de 70 personnes un assistant vocal intelligent nommé Pimpon, conçu pour désengorger les services d’urgence du SAMU (15). J’ai convaincu 6 personnes de me rejoindre pour développer ce projet pendant tout le week-end, parmi plus de 40 idées proposées. Cela nous a permis d’être sélectionnés parmi les 10 équipes finalistes.

Pimpon est un assistant vocal capable de prendre en charge les appels en amont des Assistants de Régulation Médicale (ARM), qui sont aujourd’hui surchargés. L’assistant engage automatiquement une conversation avec l’appelant, recueille des informations clés (via un LLM et du function calling), et les transmet à l’ARM, réduisant ainsi considérablement le temps de traitement de l’appel.

Techniquement, nous avons utilisé Apple Shortcut pour simuler un appel vocal côté frontend, avec text-to-speech. Le backend, construit avec FastAPI et WebSocket, interagit en temps réel avec GPT-4o, enrichi via un RAG (Retrieval-Augmented Generation) et des fonctions personnalisées. Le tout a été développé en moins de 48h.

Le projet a été classé 3ᵉ sur le podium final, salué pour sa pertinence sociétale, son exécution technique et son potentiel de déploiement concret.

• Pitch du projet devant plus de 70 participants, sélectionné parmi les 10 idées finalistes.
• Formation et coordination d’une équipe de 6 personnes sur tout le week-end.
• Développement de Pimpon, un assistant vocal médical basé sur GPT-4o, RAG et function calling.
• Utilisation d’Apple Shortcut et TTS pour simuler les appels côté utilisateur.
• Application temps réel avec WebSocket et API backend en FastAPI.
• 3ᵉ place au classement final du Hackathon GenAI.

Démonstration de l’appel simulé

Nous avons scénarisé un appel vers l’assistant Pimpon pour illustrer son fonctionnement. L’appelant interagit vocalement avec l’assistant qui pose des questions clés pour qualifier la situation médicale avant qu’un ARM prenne le relais. Cette démonstration met en lumière l’utilité du système pour désengorger les lignes du 15.

Voir la démonstration sur YouTube

Démonstration avancée via interface graphique

Cette démonstration met en scène une interaction complète avec l’assistant Samuel depuis une interface graphique. Grâce à cette interface, je simule le rôle d’un appelant en interagissant directement avec l’assistant. Lorsque Samuel détecte une urgence, il transfère automatiquement l’appel à un ARM. Une fois l’appel terminé, l’ARM peut consulter une synthèse détaillée de l’échange pour une prise en charge efficace.

Voir la démonstration sur YouTube