Aller au contenu
Hacktion Wiki IA

Humain dans la Boucle

Ce que vous saurez dans 3 minutes

L’automatisation totale est souvent une chimère dangereuse. Nous verrons que les systèmes les plus performants (comme ChatGPT) ne sont pas “purement IA”, mais des hybrides où l’humain joue le rôle de professeur (RLHF) ou de garde-fou.

1. Comprendre : Les 3 Modes d’Intervention

L’humain peut intervenir à trois moments clés de la vie d’une IA.

graph LR
    A[Entraînement] -->|RLHF| B(Modèle)
    B -->|Inférence| C{Action Critique ?}
    C -->|Oui| D[👨‍💻 Humain Valide]
    C -->|Non| E[Automatisme]
    D -->|Correction| F[Action Finale]
    
    style D fill:#f96,stroke:#333

1. In the Loop (Dans la boucle)

L’humain doit valider chaque action. L’IA propose, l’homme dispose.

  • Exemple : Un logiciel de diagnostic radio qui encercle une tumeur, mais c’est le médecin qui signe le rapport.

2. On the Loop (Sur la boucle)

L’IA agit seule, mais l’humain surveille un tableau de bord et peut “débrancher” ou corriger en temps réel.

  • Exemple : Un pilote supervisant le pilote automatique d’un avion.

3. Out of the Loop (Hors de la boucle)

L’IA est autonome. L’humain n’intervient que sur les paramètres initiaux.

  • Risque : Flash Crash boursier.

2. Appliquer : Le RLHF (La boucle d’apprentissage)

C’est l’application la plus célèbre du HITL : le Reinforcement Learning from Human Feedback. C’est ce qui a transformé GPT-3 (un perroquet savant imprévisible) en ChatGPT (un assistant poli).

  1. Génération Le modèle génère plusieurs réponses à une question.

  2. Classement Humain Des humains (Labelers) classent ces réponses de la meilleure à la pire (Mieux > Moins bien).

  3. Récompense On entraîne un “Modèle de Récompense” qui apprend ce que les humains préfèrent.

  4. Optimisation L’IA finale est ajustée pour maximiser cette récompense humaine.

Le Coût Caché

Cette “boucle humaine” a un prix : le travail de milliers de “clicworkers” (souvent au Kenya ou aux Philippines) qui lisent et notent des millions de réponses toxiques pour “nettoyer” l’IA. C’est l’infrastructure invisible de l’IA moderne.

3. Aller plus loin : L’Avenir Agentique

Avec l’arrivée des Agents Autonomes (qui peuvent utiliser votre ordinateur), la question du HITL redevient critique.

Quand retirer l’humain ?

L’objectif est souvent de réduire la boucle humaine pour gagner en vitesse (High Frequency Trading) ou en coût. Mais pour des tâches créatives ou éthiques, l’humain reste la seule source de “Vérité Terrain” (Ground Truth).

Questions Fréquentes

Est-ce que ça ralentit l’IA ? Oui, par définition. L’humain est le goulot d’étranglement (vitesse de lecture/clic < vitesse processeur). C’est un compromis Sécurité/Vitesse.

L’IA pourra-t-elle se superviser elle-même (RLAIF) ? C’est la tendance actuelle (Reinforcement Learning from AI Feedback). On utilise une IA “Sage” (Constitutionnelle) pour noter une IA “Apprentie”. Cela permet de scaler l’apprentissage, mais pose la question : qui surveille l’IA Sage ?

Notions Liées (Spider Web)