Tous les projets
mars 2026
Genie Optiroll
En tant que pianiste, je trouve souvent la lecture de partitions traditionnelles chronophage et je préfère de loin les représentations visuelles de type "piano roll". Comme toutes les chansons ne disposent pas de ce genre de tutoriel en ligne, j'ai voulu créer un outil capable de convertir instantanément n'importe quelle partition en un piano roll interactif. L'intégration de contrôles de vitesse me permet de ralentir les passages complexes, ce qui facilite grandement l'apprentissage de nouveaux morceaux directement à mon piano. Par ailleurs, cela faisait un moment que je voulais reprendre mon projet "Genies" de 2024 pour en créer une "v2". J'ai donc décidé de lancer une nouvelle série de projets indépendants sous l'appellation "Genie", qui regroupera toutes mes applications liées à l'IA et à la vision par ordinateur. C'est la raison pour laquelle le nom du projet commence par "Genie:", tandis que "Optiroll" est la contraction de "Optique" (pour la reconnaissance optique de musique) et "Roll" (pour le piano roll).
Ma contribution
J'ai décidé de réaliser ce projet entièrement seul. En tant qu'unique développeur, j'ai géré l'intégralité du cycle de développement, de la conception de l'interface utilisateur et du codage du frontend React, jusqu'à la création du backend FastAPI et l'intégration du pipeline de vision par ordinateur.
Project Gallery
Visual Overview
Approche
M'appuyant sur mes expériences passées en vision par ordinateur, j'avais initialement prévu de créer un algorithme de détection de notes à partir de zéro en utilisant OpenCV. J'ai cependant vite réalisé l'immense complexité, les cas particuliers et les règles strictes liés à la notation musicale standard. J'ai donc revu ma stratégie et fait des recherches sur la reconnaissance optique de musique (OMR), pour finalement opter pour oemer, un modèle pré-entraîné performant. J'ai configuré un backend FastAPI qui exécute oemer sur les images téléchargées pour générer un fichier MusicXML, puis utilise muspy pour extraire les événements MIDI précis (hauteur, temps, durée). Côté frontend, j'ai développé un visualiseur sur mesure avec HTML Canvas pour afficher les barres défilantes et intégré la bibliothèque Web Audio smplr pour offrir un rendu sonore réaliste et contrôlable directement dans le navigateur.
Fonctionnalités
- Téléchargement de partitions
- Rouleau piano interactif
- Vitesse de lecture
- Plusieurs instruments audio
- Transposition de hauteur
- Superposition d'instruments
- Thèmes visuels personnalisés
- Bibliothèque de partitions
More Projects
