Modèle multimodal : définition
Modèle capable de traiter plusieurs types d'entrées et de sorties : texte, image, audio, parfois vidéo. GPT-4V, Claude 3.5 Sonnet et Gemini sont multimodaux.
Dit simplement
Un modèle multimodal comprend autre chose que du texte : une photo, un schéma, un enregistrement, parfois une vidéo. Certains savent aussi en produire.
Un exemple
Tu photographies un tableau blanc après une réunion et tu demandes le compte rendu. Ou tu envoies une capture d’écran d’un message d’erreur en demandant ce qui ne va pas.
Pourquoi ça compte
La plupart des informations d’une entreprise ne sont pas du texte propre : scans, plans, tableaux, audio. Le multimodal ouvre ces contenus à l’IA.
À lire ensuite
- LLMModèle de langage de très grande taille, souvent plusieurs centaines de milliards de paramètres, entraîné à…
- Modèle de diffusionArchitecture générative principalement utilisée pour les images et les vidéos. Le modèle apprend à inverser…
- Agent IALLM doté de la capacité d'utiliser des outils en autonomie : faire des recherches web, exécuter du code,…
Ces mots, tu les croises chaque jeudi dans Hypernews IA.
Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.
S’inscrire