Aller au contenu
Hacktion Wiki IA

Architecture Mamba

Ce que vous saurez dans 3 minutes

  • Décideurs : Comprendre pourquoi Mamba pourrait réduire significativement les coûts d’inférence sur les contextes longs.
  • Experts Techniques : Maîtriser les différences fondamentales entre SSM et Attention, et quand privilégier l’un ou l’autre.
  • Opérationnels : Identifier les cas d’usage où Mamba excelle (documents longs, séries temporelles).

1. Comprendre

L’architecture Transformer, introduite en 2017, règne en maître sur le monde des LLM. Mais elle souffre d’un défaut structurel : son mécanisme d’attention a une complexité quadratique O(n²). Doubler la longueur du contexte quadruple le coût de calcul. Mamba propose une solution radicale à ce problème.

Définition

Contexte & Enjeux

Le déclencheur : En 2023, les chercheurs Albert Gu et Tri Dao (Stanford) ont publié “Mamba: Linear-Time Sequence Modeling with Selective State Spaces”, démontrant des performances compétitives avec les Transformers sur plusieurs benchmarks.

Le risque : Ignorer Mamba, c’est potentiellement passer à côté d’économies massives sur l’inférence de documents longs, et d’une nouvelle génération de modèles hybrides.

L’Analogie de la Lecture

Imaginez lire un livre de 1000 pages :

  • Transformer (Attention) : À chaque nouvelle page, vous relisez TOUTES les pages précédentes pour comprendre le contexte. Plus le livre avance, plus c’est lent.
  • Mamba (SSM) : Vous maintenez un “résumé mental” compressé de ce que vous avez lu. Chaque nouvelle page met à jour ce résumé en temps constant.

2. Appliquer

Complexité : Le Problème Fondamental

graph LR
    subgraph "Transformer (Attention)"
        A1[Token 1] --> ATT{Attention<br/>O(n²)}
        A2[Token 2] --> ATT
        A3[Token n] --> ATT
        ATT --> OUT1[Output]
    end
    
    subgraph "Mamba (SSM)"
        B1[Token 1] --> H1[State h₁]
        B2[Token 2] --> H2[State h₂]
        B3[Token n] --> H3[State hₙ]
        H1 --> H2 --> H3 --> OUT2[Output]
    end
    
    style ATT fill:#ff6b6b
    style H1 fill:#51cf66
    style H2 fill:#51cf66
    style H3 fill:#51cf66

Comparaison Technique

Mécanisme : Self-Attention

  • Chaque token “regarde” tous les autres tokens
  • Matrice d’attention de taille n × n
  • Complexité : O(n²) en mémoire et calcul

Avantages :

  • Excellent pour capturer les dépendances longues
  • Parallélisable sur GPU
  • Très étudié et optimisé (FlashAttention, etc.)

Limites :

  • Contexte limité par la mémoire GPU
  • Coût explose avec la longueur

L’Innovation Clé : La Sélectivité

Ce qui distingue Mamba des SSM classiques est sa sélectivité : les paramètres du modèle dépendent de l’input. Le modèle peut “choisir” ce qu’il mémorise ou oublie, contrairement aux SSM linéaires précédents.

# Pseudo-code simplifié du scan sélectif Mamba
def selective_scan(x, delta, A, B, C):
    """
    x: séquence d'entrée (batch, seq_len, dim)
    delta: pas de temps appris (dépend de x)
    A, B, C: matrices de l'espace d'état
    """
    h = torch.zeros(batch, state_dim)  # État initial
    outputs = []


    for t in range(seq_len):
        # Delta et B dépendent de l'input (SÉLECTIF)
        dt = delta[t]
        Bt = B[t]


        # Mise à jour récurrente
        h = h * torch.exp(A * dt) + Bt * x[t]


        # Projection de sortie
        y = C @ h
        outputs.append(y)


    return torch.stack(outputs)

Benchmarks et Performances

ModèleParamsComplexitéPerplexity (Pile)Throughput
Transformer 1.3B1.3BO(n²)8.51x
Mamba 1.3B1.3BO(n)8.43-5x
Transformer 2.8B2.8BO(n²)7.90.5x
Mamba 2.8B2.8BO(n)7.82-3x

3. Aller plus loin

Modèles Hybrides : Le Futur ?

La tendance émergente est de combiner Mamba et Attention :

  • Jamba (AI21) : Layers Mamba + Attention intercalés
  • Zamba : Variations hybrides
  • Falcon Mamba (TII) : Mamba pure pour l’arabe

Ces architectures capturent le meilleur des deux mondes : efficacité linéaire ET capacité de raisonnement.

Points de vigilance

Prospective

En 2026, nous assistons à une “guerre des architectures” :

  • Les Transformers continuent de dominer via des optimisations (FlashAttention, RingAttention)
  • Mamba gagne du terrain sur les cas d’usage à contexte très long
  • Les modèles hybrides semblent prometteurs pour le meilleur compromis

L’enjeu : qui contrôlera les fondations de la prochaine génération de modèles ?

Questions Fréquentes

Mamba va-t-il remplacer les Transformers ?

Probablement pas entièrement. Les Transformers restent supérieurs sur certaines tâches de raisonnement. L’avenir est plutôt aux architectures hybrides combinant les forces des deux approches.

Puis-je utiliser Mamba pour mon projet aujourd’hui ?

Oui, mais avec précaution. Des implémentations comme mamba-ssm (PyTorch) existent, ainsi que des modèles pré-entraînés (Falcon Mamba). Cependant, l’écosystème de fine-tuning (LoRA, etc.) est moins mature qu’avec les Transformers.

Quelle est la différence entre SSM et RNN ?

Les SSM sont mathématiquement liés aux RNN mais avec des propriétés cruciales : ils sont parallélisables pendant l’entraînement (contrairement aux RNN) et ont des gradients plus stables grâce à leur formulation continue.

Notions Liées (Spider Web)

Ressources Externes