Aller au contenu
Hacktion Wiki IA

Grok (xAI)

Ce que vous saurez dans 3 minutes

Grok est la réponse cinglante d’Elon Musk à OpenAI (qu’il a co-fondé puis quitté). Son objectif est d’être une IA “qui cherche la vérité” (Truth Seeking AI) sans être bridée par le “politiquement correct” (Woke Virus) que Musk reproche à Google et OpenAI. Au-delà de l’idéologie, c’est une prouesse d’ingénierie : le cluster d’entraînement (100 000 H100 à Memphis) a été monté en 19 jours, un record absolu.

1. Comprendre

Les Deux Personnalités de Grok

Contrairement à ChatGPT qui est toujours poli et neutre, Grok possède deux modes :

  1. Mode Normal : Factuel, utile, similaire à GPT-4.
  2. Mode Fun (Spicy) : Sarcastique, moqueur, familier. Il peut “roaster” (vaner) votre profil Twitter en analysant vos tweets.

L’Avantage Stratégique : Le Temps Réel

C’est le “Killer Feature”.

  • Si vous demandez à ChatGPT : “Que se passe-t-il à Paris maintenant ?”, il va chercher sur Bing (lent).
  • Si vous demandez à Grok, il analyse des milliers de tweets postés il y a quelques secondes pour synthétiser l’événement en cours (manifestation, match, concert). Il cite ses sources (les tweets) directement.

L’Architecture MoE (Mixture of Experts)

En mars 2024, xAI a mis Grok-1 en Open Source. Les specs ont choqué la communauté :

  • 314 Milliards de paramètres (c’est énorme, Llama-3 en fait 70B).
  • Mixture-of-Experts (MoE-8x7B ? Non, 8 experts) : Pour chaque token généré, seulement 2 des 8 experts sont activés. Cela permet d’avoir la “culture” d’un modèle immense mais la vitesse d’inférence d’un modèle plus petit.

2. Appliquer

Le Prompting “Spicy”

Grok excelle dans la créativité débridée.

Prompt : “Critique mon idée de startup : un Uber pour promener les poissons rouges.”

Réponse ChatGPT : “C’est une idée originale, mais il y a des défis logistiques…” (Poli).

La Stack Technique : Rust & JAX

Alors que tout le monde utilise Python et PyTorch, xAI a fait le choix de l’ingénierie système pure :

  • Langage : Rust (pour la fiabilité mémoire).
  • Framework ML : JAX (développé par Google, excellent pour le parallélisme massif).
  • Orchestration : Kubernetes personnalisé.

Ce choix technique montre une volonté de maîtrise totale du bare metal pour optimiser les performances sur les 100 000 GPU.

3. Aller plus loin

Colossus : Le Supercalculateur de Memphis

Pour entraîner Grok 3, xAI a construit “Colossus”.

  • 100 000 NVIDIA H100.
  • Refroidissement liquide massif.
  • Impact énergétique : Capable de consommer autant qu’une petite ville. C’est actuellement le cluster GPU le plus puissant du monde dédié à une seule entreprise.

Vision et Multimodalité (Grok 1.5 Vision)

Grok rattrape son retard sur la vision. Il peut désormais analyser des diagrammes, des memes ou des captures d’écran. Son test de benchmark “RealWorldQA” (créé par xAI) se concentre sur la compréhension spatiale du monde réel (ex: des caméras de voiture), ce qui laisse penser à une synergie future avec Tesla FSD (Full Self-Driving).

Open Source ou Open Weights ?

xAI a publié les poids de Grok-1 (le fichier binaire final), mais pas le code d’entraînement ni le dataset. On parle donc d’Open Weights, pas d’Open Source au sens strict (impossible de reproduire l’entraînement). Cependant, c’est le modèle “Open” le plus gros jamais relâché, bien qu’il soit difficile à faire tourner (il faut 600 Go de VRAM, soit 8 GPU A100 pro).

Questions Fréquentes

Grok est-il meilleur que GPT-4 ?

Sur les benchmarks académiques (Maths, Code), Grok 2 s’approche de GPT-4o mais reste souvent un cheveu derrière. Son avantage n’est pas académique, il est contextuel (accès Twitter) et stylistique (liberté de ton).

Comment accéder à Grok ?

Il faut un abonnement X Premium+ (payant) sur Twitter. Il n’y a pas de version gratuite pour l’instant. L’API est disponible pour les développeurs via la plateforme xAI.

Notions Liées (Spider Web)

Ressources Externes