EXTRAIT DU LIVRE · Partie II · Comment les machines sont devenues intelligentes
Trois avancées qui se sont renforcées mutuellement
Télécharger cet extrait en PDF ↓
Le PDF conserve la langue anglaise du document original.
Les illustrations et les couvertures conservent leur texte original en anglais.
Figure II.2 Trois moteurs interdépendants des capacités des machines. Les données déterminent les exemples disponibles ; les méthodes d’apprentissage déterminent comment l’expérience modifie le modèle ; les moyens de calcul déterminent ce qui peut être réalisé à une échelle viable. Il s’agit d’un cadre conceptuel, et non d’une répartition mesurée des progrès. Les renvois aux sections concernent le chapitre 2 de la partie II. [II.2, II.5–II.7]
De meilleures données
L’offre de textes numériques, de code et d’autres contenus a élargi ce que les machines pouvaient rencontrer. Le gain est aussi venu d’une sélection plus rigoureuse : extraire correctement un tableau, supprimer les pages répétées, équilibrer les langues et vérifier les démonstrations. FineWeb montre pourquoi la préparation mérite autant d’attention que le volume. Pour le lecteur qui construit un modèle, la question est de savoir ce qu’enseigne chaque exemple. Dans le chapitre 2, la section 2 suit ce travail ; la section 5 revient aux données conçues pour apprendre à un assistant comment répondre. [II.5, II.6]
De meilleures méthodes d’apprentissage
De nouvelles architectures et de nouveaux objectifs d’entraînement ont rendu davantage de ces exemples utiles. Le Transformer a changé la manière dont un modèle relie les positions d’une séquence et a facilité la parallélisation de l’entraînement. Un préentraînement général, des exemples d’instructions et des retours d’évaluation ont ensuite fourni différents types de signaux d’apprentissage. Ce sont des avancées distinctes dans la construction et l’apprentissage d’un modèle. Les sections 3–5 du chapitre 2 les expliquent, notamment pourquoi le mélange d’experts est un choix architectural et l’apprentissage des préférences une méthode d’entraînement. [II.2, II.8–II.10]
De meilleurs moyens de calcul
Les accélérateurs, la mémoire, les connexions rapides entre appareils et de meilleurs logiciels ont rendu possibles des expériences plus vastes. Le progrès consiste à utiliser plus efficacement le matériel disponible, autant qu’à en ajouter. L’équilibre compte : les expériences Chinchilla ont montré qu’une autre répartition d’un budget de calcul fixe entre la taille du modèle et les données d’entraînement pouvait améliorer les résultats. Dans le chapitre 2, les sections 3–4 expliquent les contraintes de l’entraînement ; la section 7 suit le coût de production des réponses. [II.6, II.7, II.24]
Les frontières se recoupent. Une méthode d’apprentissage efficace peut réduire les calculs nécessaires, tandis que des moyens de calcul supplémentaires peuvent permettre un autre mélange de données ou une expérience plus vaste. Aucun de ces moteurs ne garantit à lui seul une réponse fiable. L’évaluation et la supervision déterminent si des capacités accrues sont utiles dans le contexte visé. La séquence historique montre comment ces trois avancées finissent par se rejoindre dans la construction d’un modèle.