Les modèles multimodaux ont changé la manière dont nous parlons aux machines : on ne tape plus seulement du texte, on photographie, on dicte, on filme. Un même système comprend désormais une phrase, une capture d’écran et un message vocal dans la même conversation, puis répond dans le format qui vous arrange. Derrière cette souplesse se cache une architecture précise, des compromis de coût et des limites qu’il vaut mieux connaître avant de bâtir un projet dessus. Ce guide explique ce qu’est un modèle multimodal, comment il fonctionne, quels acteurs comptent aujourd’hui et comment choisir celui qui convient à votre usage.
Mis à jour le 27 juillet 2026
Modèles multimodaux : la définition en clair
Un modèle multimodal est un système d’intelligence artificielle capable de recevoir et de produire plusieurs types de données, texte, image, audio et parfois vidéo, au sein d’un même réseau. Là où un modèle classique ne lit que du texte, il aligne ces signaux dans une représentation commune afin de raisonner dessus ensemble.
La nuance compte. Il ne s’agit pas d’un logiciel qui appellerait successivement un lecteur d’images, puis un transcripteur audio, puis un générateur de texte. Dans un véritable modèle multimodal, les modalités cohabitent dans le même espace mathématique. Le système peut donc établir un lien direct entre le mot « chien », la photo d’un labrador et un aboiement enregistré, sans jamais repasser par une description écrite intermédiaire.
Les modalités les plus couramment prises en charge sont les suivantes :
- Le texte : la modalité historique, encore le socle du raisonnement et des instructions.
- L’image : photos, captures d’écran, schémas, documents scannés, graphiques.
- L’audio : parole, musique, sons d’ambiance, avec ou sans transcription préalable.
- La vidéo : une suite d’images accompagnée d’une piste sonore, la modalité la plus exigeante en calcul.
Panorama des modèles multimodaux disponibles
À l’été 2026, la quasi-totalité des grands modèles de langage grand public sont devenus multimodaux. Le tableau ci-dessous résume les grandes familles et ce qu’elles savent faire, afin de situer rapidement les modèles multimodaux les uns par rapport aux autres.
| Famille de modèles | Entrées acceptées | Sorties produites | Point fort |
|---|---|---|---|
| GPT (OpenAI) | Texte, image, audio | Texte, image, voix | Écosystème et mode vocal temps réel |
| Gemini (Google DeepMind) | Texte, image, audio, vidéo | Texte, image | Très longue fenêtre de contexte et vidéo native |
| Claude (Anthropic) | Texte, image, documents | Texte | Lecture de documents longs et raisonnement |
| Mistral (français) | Texte, image, audio | Texte | Modèles ouverts, hébergement européen |
| Llama (Meta) | Texte, image | Texte | Poids ouverts, déploiement sur site |
| Qwen-VL, InternVL et autres modèles ouverts | Texte, image, parfois audio | Texte | Gratuité et personnalisation complète |
Deux tendances se dégagent. D’une part, la vidéo en entrée reste réservée à une poignée d’acteurs, car elle multiplie le volume de données à traiter. D’autre part, la génération d’images et de voix en sortie n’est pas systématique : beaucoup de modèles multimodaux lisent tout mais n’écrivent que du texte.
Comment un modèle multimodal traite-t-il vos données ?
Le parcours d’une requête se décompose toujours en trois temps : l’encodage, la fusion, puis la génération. Comprendre cet enchaînement permet de saisir pourquoi certains résultats sont brillants et d’autres complètement à côté de la plaque.
Imaginez que vous envoyiez la photo d’un tableau de bord de voiture accompagnée de la question : « Que signifie ce voyant orange ? ». Le modèle découpe d’abord l’image en petits carrés et votre question en fragments de mots. Il convertit ensuite ces deux flux en séries de nombres comparables entre eux. Enfin, il produit sa réponse un mot après l’autre, en s’appuyant simultanément sur le contenu visuel et sur le sens de votre phrase.
Ce fonctionnement explique une propriété essentielle : la qualité de la réponse dépend autant de la netteté de votre image que de la précision de votre consigne. Une photo floue produira des approximations, exactement comme une question vague. C’est pourquoi les bonnes pratiques de rédaction de prompts efficaces s’appliquent intégralement au multimodal.
L’encodage : transformer un pixel ou un son en vecteur
Chaque modalité passe par un encodeur spécialisé. L’encodeur de texte découpe la phrase en unités appelées tokens, puis attribue à chacune une longue liste de nombres qui résume son sens. L’encodeur d’image, souvent un Vision Transformer, découpe la photo en imagettes de seize pixels de côté et traite chacune comme un token visuel. L’encodeur audio, lui, transforme l’onde sonore en spectrogramme, une représentation en fréquences qui ressemble beaucoup à une image.
Ce détail a une conséquence pratique très concrète : une image coûte des tokens, parfois beaucoup. Une capture d’écran haute définition peut peser l’équivalent de plusieurs centaines de mots dans la facture. Réduire la résolution avant l’envoi est souvent le levier d’économie le plus rentable sur un projet en production.
L’intuition théorique derrière cette convergence remonte aux travaux sur l’apprentissage contrastif image-texte, notamment le modèle CLIP publié par OpenAI, dont l’article fondateur reste consultable sur arXiv.
La fusion : l’espace de représentation partagé
Une fois encodées, les modalités doivent se rencontrer. C’est l’étape de fusion, aussi appelée alignement. Le modèle projette tous les vecteurs, quelle que soit leur origine, dans un espace commun où la proximité géométrique traduit une proximité de sens. Dans cet espace, le vecteur du mot « guitare » se retrouve tout près du vecteur d’une photo de guitare et de celui d’un accord gratté.
L’entraînement qui produit cet alignement repose sur d’immenses corpus de paires : des millions d’images avec leur légende, des heures de parole avec leur transcription. Le modèle apprend à rapprocher ce qui va ensemble et à éloigner ce qui n’a rien à voir. C’est cette gymnastique, répétée à très grande échelle, qui donne aux modèles multimodaux leur impression de compréhension transversale.
Le corollaire est moins reluisant : ce que le corpus ne contient pas, le modèle l’ignore. Les alignements sont bien meilleurs sur des objets du quotidien largement photographiés que sur un schéma technique de niche ou un dialecte peu documenté.
Multimodal natif ou pipeline assemblé : la différence qui compte
Deux architectures se disputent le terrain. Le pipeline assemblé enchaîne des briques indépendantes : un module de transcription convertit l’audio en texte, un module de description convertit l’image en légende, puis un modèle de langage classique lit ces textes. Simple à construire, cette approche perd de l’information à chaque étape.
Le multimodal natif, à l’inverse, ingère les signaux bruts dans un unique réseau entraîné de bout en bout. Il conserve alors des nuances qu’aucune transcription ne restitue : l’hésitation dans une voix, la disposition exacte des colonnes d’un tableau, la relation spatiale entre deux objets d’une photo.
Pour choisir, posez-vous une question simple : l’information qui vous intéresse survivrait-elle à une mise en mots ? Si vous cherchez seulement le contenu d’un discours, un pipeline de transcription suffit et coûtera bien moins cher. Si le ton, la mise en page ou la position comptent, il faut du natif.
Ce que vous pouvez faire concrètement dès aujourd’hui
Au-delà des démonstrations spectaculaires, les modèles multimodaux rendent des services très prosaïques. Voici les usages qui fonctionnent de manière fiable, sans bricolage :
- Lire un document photographié : facture, ordonnance, contrat, formulaire manuscrit, y compris avec une mise en page complexe.
- Expliquer un graphique : extraire les valeurs d’un diagramme dont vous n’avez plus les données sources.
- Décrire une scène pour une personne malvoyante, avec un niveau de détail ajustable à la demande.
- Traduire une conversation orale en conservant le découpage des tours de parole.
- Diagnostiquer une interface : envoyer une capture d’écran d’un message d’erreur et obtenir la marche à suivre.
- Générer un visuel à partir d’une description, un domaine que nous détaillons dans notre guide sur les outils de création d’images par IA.
Le point commun de ces tâches : elles demandent une lecture, pas une expertise engageante. Dès qu’une décision lourde en découle, la relecture humaine reste indispensable.
Les usages professionnels qui décollent
En entreprise, trois familles d’applications sortent nettement du lot. La première est le traitement documentaire : assurance, banque, santé et logistique croulent sous les pièces jointes hétérogènes. Un modèle multimodal absorbe indifféremment un PDF natif, un scan de travers et une photo prise au téléphone, là où les anciens moteurs de reconnaissance de caractères exigeaient une numérisation propre.
La deuxième est le support client. Un utilisateur qui envoie la photo de son appareil en panne obtient un diagnostic immédiat, sans avoir à décrire un symptôme qu’il ne sait pas nommer. Le taux de résolution au premier contact progresse nettement sur ce type de flux.
La troisième est le contrôle qualité et la conformité : vérifier qu’une vitrine respecte une charte, qu’un chantier porte les équipements de protection, qu’une publicité comporte les mentions obligatoires. Cette dernière catégorie touche vite à la surveillance et mérite un cadrage juridique sérieux.
Comment choisir un modèle multimodal pour votre projet
Le classement des benchmarks change tous les deux mois et n’a qu’un rapport lointain avec votre cas d’usage. Les critères suivants sont bien plus discriminants :
- Les modalités réellement nécessaires : payer pour la vidéo quand vous ne traitez que des images est un gaspillage pur.
- La fenêtre de contexte : un dossier de cinquante pages scannées consomme énormément de tokens visuels.
- La latence : un mode vocal conversationnel exige une réponse en moins d’une seconde, une analyse de documents nocturne s’en moque.
- La localisation des données : hébergement européen ou déploiement sur vos propres serveurs si les pièces sont sensibles.
- Le coût au volume réel : calculez sur mille documents types, jamais sur un exemple isolé.
- La possibilité de sortie structurée : un modèle qui rend du JSON valide vous épargne des semaines d’analyse syntaxique.
Une méthode simple donne de bons résultats : constituez un jeu de trente exemples représentatifs, dont dix volontairement dégradés, puis faites-les passer à trois candidats. L’écart de fiabilité sur les cas dégradés révèle presque toujours le bon choix.
Ce que coûte réellement le multimodal
La facturation reste indexée sur les tokens, mais les images et l’audio s’y convertissent selon des règles propres à chaque fournisseur. Une image d’un million de pixels représente généralement entre plusieurs centaines et un peu plus d’un millier de tokens. Une minute d’audio se situe dans le même ordre de grandeur. La vidéo, échantillonnée en images fixes, explose rapidement les compteurs.
Trois réflexes réduisent la note sans dégrader la qualité : redimensionner les images à la résolution minimale où le texte reste lisible, découper les documents longs pour ne soumettre que les pages utiles, et mettre en cache les portions de contexte qui ne changent jamais d’une requête à l’autre. Sur un flux industriel, ces trois mesures divisent couramment la facture par deux.
Les limites à connaître avant de se lancer
Les modèles multimodaux héritent des faiblesses des modèles de langage et en ajoutent quelques-unes. L’hallucination visuelle est la plus traître : confronté à une image ambiguë, le modèle invente un détail plausible plutôt que d’admettre son incertitude. Il lira un chiffre là où il n’y a qu’une tache.
Le raisonnement spatial fin reste également fragile. Compter précisément des objets nombreux, juger d’une distance ou suivre une flèche dans un schéma technique produit encore des erreurs régulières. Le texte manuscrit très cursif et les langues à alphabet peu représenté posent les mêmes difficultés.
Enfin, la surface d’attaque s’élargit. Une consigne malveillante dissimulée dans une image, en caractères minuscules ou faiblement contrastés, peut détourner le comportement du système. Ce vecteur d’injection indirecte est un sujet à part entière, que nous abordons dans notre dossier sur les menaces et défenses liées à l’IA.
RGPD et AI Act : le cadre à respecter
Dès qu’une image contient un visage, une plaque d’immatriculation ou une signature, vous traitez des données personnelles. Le règlement européen s’applique dans son intégralité : base légale, information des personnes, durée de conservation, sous-traitance. La CNIL publie des recommandations dédiées aux systèmes d’intelligence artificielle, utiles dès la phase de conception.
Le règlement européen sur l’intelligence artificielle, dit AI Act, ajoute une grille de lecture par niveau de risque. Certains usages multimodaux tombent dans les catégories interdites ou à haut risque, en particulier la reconnaissance des émotions sur le lieu de travail et l’identification biométrique à distance. Le détail des obligations et le calendrier d’application sont présentés par la Commission européenne.
En pratique, deux garde-fous évitent la majorité des problèmes : flouter ou masquer les éléments identifiants avant l’envoi lorsque l’usage ne les exige pas, et privilégier un hébergement européen ou une exécution locale pour les pièces sensibles.
Cas pratique : faire lire une facture photographiée
Prenons un besoin banal : extraire automatiquement le numéro, la date, le montant hors taxes et le montant total de factures reçues en photo par les commerciaux. Voici la marche à suivre qui donne les meilleurs résultats.
Commencez par normaliser l’entrée : redressez l’image, recadrez sur le document, ramenez la largeur à environ 1 500 pixels. Formulez ensuite une consigne qui impose un format de sortie strict, en énumérant chaque champ attendu et en précisant la valeur à renvoyer lorsqu’un champ est absent. C’est ce dernier point qui élimine l’essentiel des inventions.
Ajoutez enfin un contrôle de cohérence purement arithmétique de votre côté : le montant hors taxes majoré de la taxe doit égaler le total. Toute facture qui échoue à ce test part en revue humaine. Avec ce triptyque normalisation, format imposé, vérification, un flux documentaire atteint un niveau de fiabilité exploitable en production, sans intervention sur la moitié des pièces.
Vidéo : pour aller plus loin
Cette vidéo revient en images sur les architectures de vision et de langage qui ont ouvert la voie aux modèles multimodaux actuels, de CLIP aux assistants capables de voir et d’entendre.
FAQ : vos questions sur les modèles multimodaux
Quelle différence entre un modèle multimodal et un modèle de langage classique ?
Un modèle de langage classique ne reçoit et ne produit que du texte. Un modèle multimodal accepte en plus des images, du son, parfois de la vidéo, et les traite dans le même réseau que le texte. Concrètement, vous pouvez lui envoyer une photo accompagnée d’une question et il répondra en tenant compte des deux, sans passer par une description écrite intermédiaire qui perdrait de l’information.
Les modèles multimodaux sont-ils plus chers à utiliser ?
Le tarif au token est généralement identique, mais une image consomme beaucoup de tokens. Une capture d’écran en haute définition peut coûter autant que plusieurs centaines de mots. La facture dépend donc surtout du volume et de la résolution des médias envoyés. Redimensionner les images avant l’envoi et ne soumettre que les pages utiles reste le moyen le plus efficace de maîtriser la dépense.
Peut-on faire tourner un modèle multimodal sur son propre serveur ?
Oui. Plusieurs modèles à poids ouverts acceptent le texte et l’image et s’installent sur une machine équipée d’une carte graphique récente. Les performances restent en retrait des meilleures offres commerciales, en particulier sur les documents complexes, mais l’écart se resserre. Cette option devient intéressante dès que la confidentialité des pièces traitées interdit tout envoi vers un service externe.
Un modèle multimodal peut-il se tromper sur une image ?
Régulièrement. Face à une image floue, mal cadrée ou ambiguë, il produit souvent un détail plausible plutôt que de signaler son incertitude. Le comptage d’objets nombreux, la lecture d’écriture manuscrite cursive et le raisonnement sur des schémas techniques figurent parmi les points faibles connus. Un contrôle automatique de cohérence et une revue humaine sur les cas douteux restent indispensables en production.
Faut-il transcrire l’audio avant de l’envoyer au modèle ?
Cela dépend de ce que vous cherchez. Si seul le contenu des propos vous intéresse, une transcription préalable coûte moins cher et fonctionne très bien. Si le ton, les hésitations, les chevauchements de parole ou les bruits de fond portent de l’information utile, l’audio brut envoyé à un modèle nativement multimodal conserve des nuances qu’aucune transcription ne restitue.
Quelles précautions juridiques prendre en France ?
Dès qu’une image comporte un visage, une signature ou une plaque d’immatriculation, vous traitez des données personnelles et le RGPD s’applique. L’AI Act européen encadre en outre certains usages, notamment la reconnaissance des émotions au travail et l’identification biométrique à distance. Masquer les éléments identifiants inutiles et choisir un hébergement européen constituent les deux précautions de base.
Ce qu’il faut retenir
Les modèles multimodaux ne sont plus une curiosité de laboratoire : ils constituent désormais le mode de fonctionnement par défaut des grands systèmes d’intelligence artificielle. Leur force tient à l’alignement de modalités différentes dans un espace commun, ce qui leur permet de relier un mot, une image et un son sans traduction intermédiaire.
Pour en tirer parti, retenez trois règles. Choisissez le modèle sur vos propres exemples dégradés, pas sur un classement. Maîtrisez la résolution de ce que vous envoyez, car c’est là que se joue le coût. Et prévoyez systématiquement un contrôle de cohérence en aval, parce qu’un modèle multimodal se trompe avec beaucoup d’assurance. Bien encadrés, ces outils font gagner un temps considérable sur tout ce qui relève de la lecture et du tri.
