Open-weights : définition
Modèle dont les poids sont publiquement téléchargeables, mais dont les données d'entraînement et le code complet ne sont pas forcément ouverts. À distinguer de l'open-source au sens strict. Llama et Mistral sont open-weights.
Dit simplement
Un modèle open-weights est un modèle que tu peux télécharger et faire tourner chez toi. Tu as le résultat de l’entraînement, sans forcément savoir sur quelles données il a été fait.
Un exemple
Une entreprise installe un modèle open-weights sur ses propres serveurs pour traiter des documents confidentiels, sans rien envoyer à un fournisseur extérieur.
Pourquoi ça compte
Cela donne le contrôle : confidentialité, coûts, adaptation, indépendance vis-à-vis d’un fournisseur. En échange, tu gères toi-même l’infrastructure et la sécurité.
À lire ensuite
- QuantizationTechnique pour compresser un modèle en réduisant la précision de ses poids, par exemple de 16 bits à 4 bits.…
- Fine-tuningEntraînement supplémentaire d'un modèle pré-existant sur un jeu de données spécifique pour le spécialiser…
- DistillationTechnique qui consiste à entraîner un petit modèle à imiter les réponses d'un grand modèle. Le petit modèle…
- Foundation modelModèle de très grande taille pré-entraîné sur un corpus massif et générique, conçu pour servir de base à de…
Ces mots, tu les croises chaque jeudi dans Hypernews IA.
Les trois actualités IA qui comptent, expliquées simplement. Gratuit, sans spam.
S’inscrire