Aller au contenu
Hacktion Wiki IA

Le Scan Sélectif Mamba : L'algorithme qui donne une mémoire infinie à l'IA

Imaginez que vous devez lire l’intégralité de la saga Harry Potter d’une seule traite pour répondre à une question précise sur le tome 7.

Si vous fonctionniez comme un Transformer (l’architecture derrière ChatGPT), vous devriez, à chaque nouveau mot lu, relire et comparer ce mot avec tous les mots précédents des 7 tomes. C’est épuisant, lent et cela demande une mémoire colossale.

Si vous fonctionniez avec le Scan Sélectif Mamba, vous agiriez comme un humain expert : vous liriez le texte de manière fluide, en mettant à jour une “mémoire vive” mentale. Vous décideriez instantanément : “Ce détail sur la couleur des chaussettes de Dobby est inutile, je l’oublie” ou “Cette information sur les Horcruxes est cruciale, je la garde en mémoire”.

C’est là toute la révolution du Scan Sélectif. C’est un algorithme qui permet aux IA de traiter des quantités d’informations théoriquement infinies avec une consommation de mémoire constante, là où les modèles classiques s’effondrent.

Dans cet article, nous allons ouvrir le capot de Mamba pour comprendre, via un pseudo-code simplifié, comment cette magie opère.

Le Problème : Le goulot d’étranglement quadratique

Pour comprendre l’élégance de Mamba, il faut d’abord comprendre la douleur des Transformers.

L’architecture Transformer repose sur le mécanisme d’Attention. Pour chaque “token” (morceau de mot), le modèle calcule une matrice d’interaction avec tous les autres tokens.

  • Si vous avez 10 mots, c’est 100 calculs (10210^2).
  • Si vous avez 1 000 mots, c’est 1 000 000 de calculs.
  • Si vous avez 100 000 mots, la mémoire de votre carte graphique explose.

C’est ce qu’on appelle la complexité quadratique (O(N2)O(N^2)). C’est pour cela que la plupart des IA ont une “fenêtre de contexte” limitée.

Mamba propose une approche à complexité linéaire (O(N)O(N)). Si vous doublez la longueur du texte, vous doublez simplement le temps de calcul, sans faire exploser la mémoire.

Comment ça Marche : La mécanique du Scan

Le cœur de Mamba est un Modèle d’Espace d’État (SSM - State Space Model) amélioré. Contrairement aux anciens modèles statistiques qui utilisaient des paramètres fixes, Mamba rend ses paramètres dépendants de l’entrée.

C’est ce qu’on appelle la Sélectivité. Le modèle “regarde” le mot actuel et décide comment mettre à jour sa mémoire.

L’intuition du Pseudo-code

Voyons comment cela se traduit en logique de programmation. Nous allons simuler le passage d’une séquence de données (par exemple du texte) à travers une couche Mamba.

  1. Initialisation de la mémoire Le modèle commence avec un “état caché” (hh) vide. C’est sa mémoire de travail.

  2. La boucle de lecture (Le Scan) Le modèle lit la séquence mot par mot (token par token).

  3. La décision sélective (Le cœur de l’innovation) Pour chaque mot, le modèle calcule trois valeurs dynamiques :

    • Gate (Δ\Delta) : À quel point je laisse entrer l’information ? (Le débit du robinet).
    • Select B : Quelle information spécifique de ce mot est pertinente ?
    • Select C : Qu’est-ce que je veux extraire de ma mémoire maintenant pour prédire la suite ?

  4. Mise à jour de l’état L’état caché (hh) est mis à jour : on oublie un peu du vieux passé (via un facteur d’oubli AA) et on ajoute la nouvelle information filtrée.

Le Pseudo-code (Python-like)

Voici une représentation simplifiée de l’algorithme pour une séquence donnée x (l’entrée).

# Pseudo-code conceptuel du Scan Sélectif Mamba
# Entrée : x (séquence de tokens, ex: "Le chat mange...")
# Sortie : y (séquence de représentations enrichies)


def mamba_selective_scan(x):
    # 1. Initialisation
    etat_memoire = 0  # "h" dans les papiers de recherche (taille fixe)
    sorties = []


    # Paramètre A : Facteur d'oubli de base (appris durant l'entraînement)
    # Il définit la tendance naturelle à oublier les vieux souvenirs
    A = parametre_fixe_appris()


    # 2. Boucle de Scan (Linéaire O(N))
    for token_actuel in x:


        # --- MAGIE DE LA SÉLECTIVITÉ ---
        # Contrairement aux SSM classiques, B, C et Delta dépendent du token_actuel !


        # Décision 1 : Discrétisation (Le "Gate")
        # Est-ce que ce token mérite une mise à jour majeure de la mémoire ?
        delta = reseau_neural_projection(token_actuel)


        # Décision 2 : Quoi retenir ? (Input dynamic)
        B = reseau_neural_B(token_actuel)


        # Décision 3 : Quoi regarder pour la sortie ? (Output dynamic)
        C = reseau_neural_C(token_actuel)


        # --- MISE À JOUR DE L'ÉTAT (Récurrence) ---
        # Formule discrétisée simplifiée : h_new = (A_barre * h_old) + (B_barre * x)


        # Calcul des facteurs d'influence ajustés par le "Gate" (delta)
        A_barre = discretiser_A(A, delta) # Plus delta est grand, plus on retient ce moment
        B_barre = discretiser_B(B, delta)


        # Mise à jour de la mémoire vivante
        # On "oublie" selon A_barre et on "ajoute" selon B_barre
        etat_memoire = (A_barre * etat_memoire) + (B_barre * token_actuel)


        # --- GÉNÉRATION DE LA SORTIE ---
        # On projette l'état mémoire vers la sortie
        y_t = C * etat_memoire
        sorties.append(y_t)


    return sorties

Visualisation du Flux

graph LR
    Input[Entrée x_t] --> Proj[Projections B, C, Delta]
    Proj -->|Sélectivité| Update{Mise à jour État}
    State[État h_t-1] --> Update
    Update -->|Nouvel État| NewState[État h_t]
    NewState --> OutputCalc[Calcul Sortie]
    Proj -->|Param C| OutputCalc
    OutputCalc --> Output[Sortie y_t]
    
    style Update fill:#f96,stroke:#333,stroke-width:2px
    style Proj fill:#69f,stroke:#333,stroke-width:2px

L’évolution vers Mamba-2 (SSD)

Le pseudo-code ci-dessus décrit la logique séquentielle (Mamba-1). Cependant, les GPU modernes (NVIDIA H100, etc.) détestent les boucles for. Ils aiment les multiplications de matrices géantes.

Mamba-2 introduit une innovation majeure : la Dualité Espace d’État (SSD). Les chercheurs ont découvert que ce scan sélectif pouvait être reformulé mathématiquement comme une forme d’attention structurée utilisant des matrices semi-séparables. Cela permet d’utiliser les Tensor Cores des GPU pour faire des calculs par blocs, au lieu de faire du mot-à-mot strict, tout en gardant la logique de sélectivité.

Applications Concrètes

Pourquoi s’embêter avec cette nouvelle architecture ? Parce qu’elle débloque des domaines où les Transformers échouent.

Le Défi : L’ADN humain est une séquence de 3 milliards de lettres. Les régions qui contrôlent un gène peuvent être situées des millions de lettres plus loin.

L’Apport Mamba : Grâce à son état mémoire constant, Mamba peut traiter des séquences de 1 million de bases (tokens). Le scan sélectif apprend à ignorer les immenses plages d’ADN “poubelle” (non-codant) en mettant le paramètre B(xt)B(x_t) à 0, et à “ouvrir les vannes” quand il détecte une région promotrice importante.

Les Pièges à Éviter

Bien que prometteur, le scan sélectif n’est pas une baguette magique sans défauts.

À Retenir

Si vous devez expliquer le Scan Sélectif Mamba à votre direction technique, voici les points clés :

  1. Efficacité Linéaire : Traite des séquences 10x ou 100x plus longues que les modèles actuels sans coût mémoire supplémentaire.
  2. Sélectivité Dynamique : Contrairement aux vieux RNN, il ne subit pas l’information, il la filtre activement (Input-dependent gating).
  3. Mémoire “Vivante” : Il maintient un état compressé du contexte, imitant la mémoire de travail humaine plutôt que la mémoire photographique absolue des Transformers.
  4. Hardware-Aware : Mamba-2 est conçu spécifiquement pour exploiter la puissance brute des GPU modernes (Tensor Cores) via la dualité SSD.
  5. Polyvalence : Ce n’est pas juste pour le texte. C’est une percée pour la biologie (ADN), l’audio et la vidéo.

Notions Liées

Pour approfondir votre compréhension de l’architecture des modèles de langage :