MusicGen : comment fonctionne l’IA de Meta qui transforme un texte en musique

MusicGen : comment fonctionne l’IA de Meta qui transforme un texte en musique

MusicGen est un modèle d’intelligence artificielle développé par Meta et publié en juin 2023 dans la suite open source AudioCraft. Il génère de la musique instrumentale à partir d’une description écrite (text to music) ou d’une mélodie de référence. On peut le tester gratuitement en ligne ou l’installer sur son ordinateur. Par défaut, il produit des extraits d’environ 30 secondes, sans voix chantée, et ses poids sont publiés sous licence non commerciale.

Vous tapez « rock planant, guitare saturée, batterie lourde, 120 BPM » et quelques secondes plus tard, un morceau inédit sort de vos enceintes : c’est exactement ce que propose MusicGen. Ce modèle de music generation conçu par les équipes de recherche de Meta (FAIR) fait partie des outils fondateurs de la création musicale assistée par IA. Il est souvent repris, rebaptisé ou intégré par d’autres services, ce qui entretient la confusion. Voici ce qu’il fait vraiment, comment il fonctionne, où l’utiliser en 2026, et les pièges à connaître avant de publier un morceau qu’il a généré.

MusicGen, c’est quoi exactement ? Le modèle de music generation de Meta

MusicGen est un modèle de langage appliqué à l’audio. Au lieu de prédire le mot suivant d’une phrase, il prédit la suite d’un signal sonore découpé en petits éléments appelés « tokens ». Il a été présenté dans l’article de recherche Simple and Controllable Music Generation (Copet et al., 2023), retenu à la conférence NeurIPS la même année, puis rendu public avec son code et ses modèles entraînés.

Sa particularité tient en deux mots : simple et contrôlable. Là où d’autres systèmes empilent plusieurs modèles en cascade, MusicGen repose sur un seul transformer qui génère toute la musique en une passe. Et il se pilote de deux façons : par un texte décrivant le style, l’ambiance et l’instrumentation, ou par une mélodie fournie en exemple, que le modèle réinterprète dans le style demandé.

Côté données, Meta indique avoir entraîné MusicGen sur environ 20 000 heures de musique sous licence, issues d’un catalogue interne et de banques comme Shutterstock et Pond5. Ce choix de données licenciées a pesé dans la réception du projet, à une époque où la provenance des corpus d’entraînement est devenue un sujet sensible pour toute l’industrie. Pour replacer cet outil dans un mouvement plus large, notre dossier Rythmes d’innovation montre comment les outils numériques ont progressivement transformé la façon de composer.

Comment MusicGen génère de la musique à partir de textes

Le mécanisme se déroule en trois étapes, invisibles pour l’utilisateur mais utiles pour comprendre ses forces et ses limites.

  1. La compression audio avec EnCodec. Un morceau brut contient des dizaines de milliers d’échantillons par seconde, beaucoup trop pour un modèle de langage. MusicGen s’appuie donc sur EnCodec, un codec neuronal de Meta, qui convertit un audio à 32 kHz en quatre flux de tokens cadencés à 50 par seconde.
  2. La compréhension du texte. Votre description est encodée par un modèle de langage textuel (T5). Le résultat sert de condition : il oriente chaque prédiction du générateur vers le genre, le tempo ou les instruments demandés.
  3. La génération entrelacée. Le transformer produit les quatre flux de tokens en les décalant légèrement les uns par rapport aux autres (le « delay pattern »). Cette astuce lui permet de tout générer avec un seul modèle, sans perdre en cohérence. EnCodec reconvertit enfin les tokens en audio écoutable.

Pour la version melody, une étape s’ajoute : le modèle extrait le chromagramme de l’audio fourni, c’est-à-dire la répartition des notes dans le temps, et s’en sert comme guide harmonique. Résultat : vous pouvez fredonner un air, le soumettre, et obtenir une version orchestrale, électro ou reggae de cette mélodie.

Les versions de MusicGen : small, medium, large, melody et stéréo

Meta a publié plusieurs déclinaisons du modèle, qui se distinguent par leur taille (nombre de paramètres) et leurs capacités. Plus le modèle est grand, plus le rendu est riche, mais plus il réclame de puissance de calcul.

Version Paramètres Conditionnement Usage conseillé
musicgen-small 300 millions Texte Tests rapides, machines modestes
musicgen-medium 1,5 milliard Texte Bon compromis qualité et vitesse
musicgen-large 3,3 milliards Texte Meilleur rendu, GPU puissant requis
musicgen-melody 1,5 milliard Texte et mélodie Réarranger un air existant
Variantes stéréo De 300 millions à 3,3 milliards Texte, ou texte et mélodie Rendu spatialisé pour l’écoute au casque

Les variantes stéréo, ajoutées début 2024, corrigent un défaut des premières versions qui ne sortaient que du mono. Depuis, la suite AudioCraft s’est enrichie d’autres modèles (AudioGen pour les bruitages, MAGNeT, JASCO), mais MusicGen reste la référence la plus utilisée et la plus documentée de l’ensemble.

Où et comment utiliser MusicGen en 2026

Tester MusicGen en ligne sur Hugging Face

La porte d’entrée la plus simple est l’espace de démonstration officiel publié par Meta sur Hugging Face. Il suffit de saisir un prompt, de choisir éventuellement un fichier mélodique et de lancer la génération. C’est gratuit, sans installation, mais la file d’attente peut être longue aux heures de pointe et la durée des extraits reste limitée. Une astuce consiste à dupliquer l’espace sur son propre compte avec un GPU loué, pour ne plus dépendre de la file commune.

Installer MusicGen en local avec AudioCraft ou Transformers

Pour un usage régulier, l’installation locale offre plus de liberté. Deux options coexistent : la bibliothèque Python AudioCraft de Meta, et l’intégration dans la bibliothèque Transformers de Hugging Face, qui permet de charger le modèle en quelques lignes de code. Il faut une carte graphique Nvidia avec une mémoire confortable : environ 16 Go sont recommandés pour la version medium, davantage pour la large. Le modèle small tourne sur des configurations plus modestes, et même sur processeur, au prix d’une lenteur certaine.

Les sites et applis qui reprennent le nom MusicGen

En cherchant « musicgen », vous tomberez sur des sites et des applications mobiles qui utilisent ce nom comme argument commercial. Certains font tourner le modèle de Meta en arrière-plan, d’autres s’appuient sur des technologies différentes, parfois capables de produire des chansons avec paroles. Ces services ne sont pas édités par Meta. Avant de payer un abonnement, vérifiez trois points : le modèle réellement utilisé, les conditions de licence des morceaux générés et la politique de conservation de vos données.

Bien écrire un prompt MusicGen : la méthode qui marche

MusicGen a été entraîné sur des descriptions en anglais. Les prompts en français fonctionnent parfois, mais les résultats sont nettement plus fiables en anglais. Un bon prompt combine plusieurs dimensions :

  • Le genre : lo-fi hip hop, synthwave, jazz manouche, metal, bossa nova.
  • L’ambiance : mélancolique, épique, festive, tendue, contemplative.
  • Les instruments : piano électrique, cordes, basse slappée, batterie 808.
  • Le tempo : indiquez un BPM précis (90 BPM, 128 BPM) plutôt qu’un vague « rapide ».
  • Une référence d’usage : « musique de générique », « fond sonore de vlog », « bande-son de jeu vidéo ».

Exemple concret : « epic orchestral rock, electric guitars with full string section, powerful drums, 100 BPM, cinematic » donnera une piste inspirée du Rock symphonique, avec ses envolées de cordes posées sur une rythmique rock. À l’inverse, « belle musique » ne fournit au modèle presque aucune information exploitable.

Pensez aussi aux paramètres de génération. La température et le « top k » règlent la part d’aléatoire : des valeurs basses donnent des morceaux sages et prévisibles, des valeurs élevées favorisent la surprise mais aussi les accidents. Le coefficient de guidage (classifier free guidance) détermine à quel point le modèle colle à votre texte.

Limites de MusicGen : voix, durée, qualité audio

MusicGen impressionne sur des boucles et des ambiances, mais il a des angles morts qu’il vaut mieux connaître avant de se lancer.

Pas de chant. Les voix ont été retirées des données d’entraînement par séparation de sources. Le modèle produit donc des instrumentaux, sans paroles intelligibles. Pour une chanson complète, il faut enregistrer les voix à part ou se tourner vers d’autres outils.

Une durée courte par défaut. Le modèle a été entraîné sur des extraits de 30 secondes. Il est possible d’aller au-delà grâce à une technique de fenêtre glissante, qui prolonge le morceau à partir de sa fin, mais la structure globale (couplet, refrain, pont) devient vite flottante sur plusieurs minutes.

Une fidélité limitée. L’audio sort à 32 kHz, en dessous du standard CD (44,1 kHz). Pour une écoute casual, c’est suffisant, mais un ingénieur du son entendra la différence, notamment dans les aigus et sur les cymbales. Au moment d’exporter, le choix du conteneur compte aussi : notre guide sur le Format de fichier audio explique pourquoi garder un WAV pour le travail et réserver le MP3 à la diffusion.

Enfin, le modèle reflète son corpus : il excelle sur les genres occidentaux bien représentés et se montre plus approximatif sur des musiques traditionnelles ou des rythmes complexes peu présents dans ses données.

Droits d’auteur et usage commercial de la musique générée par MusicGen

C’est le point le plus délicat, et il mérite de la prudence. Le code d’AudioCraft est sous licence MIT, très permissive. En revanche, les poids des modèles MusicGen publiés par Meta sont sous licence Creative Commons CC BY-NC 4.0, qui interdit l’usage commercial. En clair : expérimenter, apprendre ou créer pour un projet personnel ne pose pas de difficulté, mais monétiser directement des morceaux issus des modèles officiels sort du cadre de cette licence.

S’ajoute une question juridique encore ouverte en France comme en Europe : une musique générée sans intervention créative humaine significative peut difficilement être protégée par le droit d’auteur classique. Les plateformes de streaming durcissent aussi leurs règles face aux contenus produits massivement par IA, comme le détaille notre article Faux streams, intelligence artificielle et droits des artistes consacré à la stratégie de Deezer. Pour un projet professionnel, l’avis d’un juriste spécialisé en propriété intellectuelle reste la voie la plus sûre.

Erreurs fréquentes avec MusicGen et conseils pour de meilleurs résultats

Après de nombreux essais, les mêmes faux pas reviennent chez les débutants :

  • Écrire un prompt trop court ou trop abstrait. Le modèle ne devine pas vos intentions : précisez au moins le genre, deux instruments et un tempo.
  • Empiler des styles contradictoires. « Death metal et berceuse acoustique » produit généralement une bouillie sonore. Mieux vaut un mélange cohérent et assumé.
  • Se contenter de la première génération. À prompt identique, chaque essai diffère. Lancez-en quatre ou cinq et gardez le meilleur.
  • Confondre MusicGen et ses imitateurs. Un service payant qui affiche ce nom n’offre pas forcément la même technologie ni les mêmes droits.
  • Publier sans retravailler. Une piste brute gagne beaucoup à passer dans un logiciel de production : égalisation, compression, montage des boucles.

Le meilleur usage de MusicGen reste souvent celui d’un carnet d’esquisses : trouver une idée d’arrangement, tester une ambiance pour un clip, produire une maquette à soumettre à son groupe. Quand le projet devient sérieux, le passage par des professionnels du son fait la différence, et l’on trouve chez nos voisins des structures reconnues, comme le montre notre sélection Les 5 meilleurs studios de création sonore en Belgique. L’IA accélère la recherche d’idées, l’oreille humaine garde le dernier mot sur le rendu final.

MusicGen est-il gratuit ?

Oui, le modèle de Meta est open source et gratuit. Vous pouvez le tester sur l’espace de démonstration Hugging Face ou l’installer sur votre machine sans payer de licence. Seuls les services tiers qui l’intègrent, ou la location d’un GPU, peuvent entraîner des frais.

MusicGen peut-il générer des chansons avec des paroles ?

Non. Les voix ayant été retirées de ses données d’entraînement, MusicGen produit uniquement des morceaux instrumentaux. Pour obtenir du chant, il faut ajouter une voix enregistrée ou utiliser un autre outil spécialisé.

Peut-on publier sur YouTube ou Spotify une musique créée avec MusicGen ?

Les poids officiels sont sous licence CC BY-NC 4.0, qui exclut l’usage commercial. Une vidéo monétisée ou une sortie en streaming rémunéré pose donc problème. Pour un usage personnel ou pédagogique, la licence le permet. En cas de doute, faites vérifier votre projet par un spécialiste du droit d’auteur.

Quelle configuration faut-il pour faire tourner MusicGen en local ?

Une carte graphique Nvidia avec environ 16 Go de mémoire est recommandée pour la version medium. Le modèle small se contente de moins et peut même fonctionner sur processeur, mais la génération devient alors très lente.

Quelle différence entre MusicGen et les générateurs de chansons comme Suno ?

MusicGen est un modèle de recherche open source, centré sur l’instrumental et les extraits courts, que l’on peut modifier et faire tourner soi-même. Les plateformes commerciales de type Suno sont des services fermés qui génèrent des chansons complètes avec voix, selon leurs propres conditions d’utilisation.