Fine-tuning
Adaptation d'un modèle pré-entraîné à une tâche ou un domaine spécifique en le réentraînant.
Définition complète
Le fine-tuning consiste à prendre un modèle déjà entraîné (par exemple GPT-4o-mini ou Llama 3) et à le réentraîner sur ton propre dataset. C'est moins coûteux qu'un entraînement complet (qui demanderait des centaines de millions de dollars) mais permet d'adapter le modèle à ton style, ton vocabulaire, ou tes patterns métiers.
Quand le fine-tuning a vraiment du sens : - Tu veux un ton/style très spécifique impossible à obtenir par prompt (la voix de ta marque, par exemple) - Tu as des milliers d'exemples input→output validés - Tu veux faire passer un modèle plus petit et moins cher au niveau d'un grand modèle pour ta tâche - Tu veux traiter un format de données très spécifique (logs, code interne, jargon métier)
Quand le fine-tuning n'est PAS la bonne réponse (très souvent) : - Tu veux que le modèle "connaisse" tes documents → utilise du RAG, pas du fine-tuning - Tu n'as que quelques dizaines d'exemples → utilise du few-shot dans le prompt - Tu veux que le modèle accède à des infos récentes → utilise du RAG ou des outils
Techniques modernes : LoRA et QLoRA permettent de fine-tuner avec une fraction des ressources (modifie seulement quelques % des paramètres). Ce qui demandait 8 GPU A100 et 50K€ se fait aujourd'hui sur 1 GPU et coûte quelques dizaines d'euros.
Approfondir
Tu veux maîtriser Fine-tuning en pratique ?
Le module "Fine-tuning — personnaliser un modèle existant" couvre fine-tuning en profondeur, avec démonstrations interactives et exercices.
Découvrir le module →Termes liés
Low-Rank Adaptation — technique de fine-tuning efficace qui ajoute de petites matrices entraînables.
Retrieval Augmented Generation — combine un LLM avec une base de données externe.
Large Language Model — modèle de deep learning entraîné sur d'immenses corpus de texte.
Approche de l'IA où le système apprend à partir d'exemples plutôt que de règles explicites.