Andrej Karpathy explique ChatGPT : comprendre les LLM pour éviter ces 10 erreurs qui coûtent cher aux copywriters et aux marketeurs

Dans sa vidéo « Deep dive » de plus de 3 heures, Andrej Karpathy démonte une illusion tenace :

ChatGPT ne pense pas. Il ne comprend pas. Il prédit.

Token après token, il génère la suite la plus plausible d’un texte.

C’est exactement ce qui le rend brillant pour structurer, reformuler, synthétiser…

Et dangereux quand on lui confie jugement, stratégie ou vérité.

Si vous êtes copywriter, marketer ou chef de projet, ne pas comprendre ça vous coûte déjà : en temps, en crédibilité et parfois en décisions.

Cet article vous donne les 10 erreurs à comprendre pour arrêter de bricoler avec l’IA et commencer à la piloter.

Pour la postérité, la vidéo d'Andrej ici (en anglais) :

❌ Erreur n°1 – Croire que ChatGPT comprend ce que vous lui dites

La définition la plus honnête et la plus utile est la suivante :

Un LLM est un simulateur de texte.

Il prend un contexte (ce que vous écrivez + l’historique de la conversation) et calcule, à chaque étape, quelle « pièce » de texte a le plus de chances de venir ensuite.

C’est un autocomplete extrêmement puissant.

Très cher.

Très convaincant.

Mais ce n’est pas un cerveau.

ChatGPT ne sait pas ce qu’il dit.

Il ne comprend ni vos objectifs, ni votre réalité business, ni les conséquences de ses réponses.

❌ Erreur n°2 – Confondre fluidité, cohérence et vérité

C’est ici que beaucoup de copywriters et marketers se font piéger.

Ils confondent :

• Fluidité → compétence
• Cohérence → vérité
• Assurance → fiabilité

En réalité, le modèle n’a aucune idée de ce qu’il dit.Il imite juste les régularités qu’il a vues dans d’immenses volumes de texte.

Résultat : il peut produire des réponses parfaitement formulées, qui donnent l’impression d’être solides, tout en étant fausses ou incomplètes.

L’erreur classique : croire que « ça sonne juste » suffit.

❌ Erreur n°3 – Ignorer les tokens : l’atome invisible qui sabote vos prompts

Avant d’être « compris », le système découpe votre texte en tokens.

Eh oui, les ingénieurs qui entraînent les LLM ne donnent pas au modèle des phrases ou des idées. Ils lui donnent des morceaux de texte.

Un token peut être :

• Un mot entier (marketing)
• Une partie de mot (market + ing)
• Un mot précédé d’un espace (␣marketing)
• Parfois un simple signe de ponctuation

Par exemple, avec la phrase : « ChatGPT écrit vite. »

Le système peut la découper ainsi :

• Chat
• GPT
• ␣écrit
• ␣vite
• .

→ Le modèle ne voit jamais la phrase.→ Il voit une suite de tokens, et il apprend uniquement à prédire quel token vient ensuite.

Andrej Karpathy insiste sur ce point : les tokens ne constituent pas un détail technique. Ils forment la véritable unité de travail du modèle.

Karpathy insiste sur un point souvent négligé : ce n’est pas un détail technique, c’est la vraie unité de travail du modèle.

❌ Erreur n°4 – Écrire des prompts longs au lieu d’écrire des prompts clairs

Tokens mal cadrés = décisions floues (et erreurs coûteuses)

En clair, quand vous écrivez un prompt, vous ne parlez pas à une intelligence. Vous fournissez une suite de tokens à un système probabiliste.

Et le modèle applique une règle simple : tout ce que vous écrivez a le même poids, sauf si vous imposez une hiérarchie.

Les conséquences concrètes (et coûteuses) :

• Un prompt long n’est pas un prompt clair : il est souvent juste confus.
• Une consigne mal structurée pousse le modèle à combler les vides.
• Plus vous empilez d’informations, plus vous consommez une ressource limitée : la fenêtre de contexte.

Beaucoup de professionnels pensent « expliquer davantage ».

En pratique, ils diluent leur intention.

Résultat : ils obtiennent une réponse statistiquement cohérente, mais stratégiquement faible.

❌ Erreur n°5 – Demander des réponses au lieu de construire des cadres

Le modèle ne devine pas ce qui compte vraiment.Il traite chaque token comme un signal équivalent.

Résultat : le modèle improvise, généralise, arrondit.Et vous obtenez une réponse statistiquement cohérente, mais stratégiquement faible.

C’est exactement ici que se joue la différence entre :

• Utiliser ChatGPT comme un gadget,
• Et l’utiliser comme un levier de décision et de production.

En tant que copywriter, prenez donc le réflexe d’écrire des instructions en blocs courts, hierarchisés, testables, avec une logique de brief (objectif → contraintes → livrable attendu).

Exemple :

❌ Erreur n°6 – Croire aux « prompts miracles »

Les « prompts miracles » rassurent.

Ils donnent l’impression qu’il existe une formule magique pour obtenir de bons résultats.

Mais ils reposent sur une idée fausse :

Que le problème vient du prompt.

Alors qu’il vient du raisonnement en amont.

Un prompt tout fait :

• Ne connaît pas votre objectif réel,
• Ignore vos contraintes business,
• Ne hiérarchise rien.

Il externalise la réflexion au modèle.

Les copywriters et marketeurs efficaces font l’inverse :

• Ils clarifient d’abord leur intention,
• Ils décident ce qui compte,
• Ils cadrent le livrable attendu.

Ensuite seulement, ils écrivent le prompt.

Ce n’est pas le prompt qui crée la qualité. C’est la qualité du cadre mental que vous imposez au modèle.

Si vous cherchez des recettes toutes faites, ChatGPT vous donnera des réponses moyennes. Si vous cherchez à penser plus clairement, il devient un levier redoutable.

❌ Erreur n°7 – Utiliser ChatGPT hors de sa zone de génie

ChatGPT est fort où il existe des patterns :

• Structures d’argumentaires,
• Formats d’emails,
• Angles marketing,
• Plans,
• Variations de ton.

Il a vu tout ça des milliers de fois.

Mais il est fragile dès qu’il faut :

• Trancher sur un fait incertain,
• Citer précisément une source,
• Ou admettre « je ne sais pas »

Dans le doute, il préfère souvent dire quelque chose plutôt que laisser un vide.

C’est ainsi que naissent les hallucinations les plus dangereuses : propres, bien écrites, rassurantes… et fausses.

Donc oui, ChatGPT peut vous aider à écrire plus vite.

Mais non, vous ne pouvez pas lui déléguer votre jugement.

❌ Erreur n°8 – Croire que le modèle raisonne ou se souvient

Pré-training : compresser Internet, pas comprendre le monde

Tout commence par une opération brutale : les équipes des entreprises d’IA (OpenAI, Anthropic, Google, xAI…) collectent une partie massive d’Internet (pages web, articles, forums, documentation, Wikipédia).

Puis, elles nettoient ces données et les transforment en texte exploitable.

Ensuite, leurs systèmes découpent ce texte en trilliards de tokens.

Les ingénieurs entraînent alors le modèle à une seule tâche, répétée à grande échelle :

👉 prédire le token suivant.

Résultat : un LLM n’apprend pas des faits. Il apprend des corrélations statistiques.

Plus une information apparaît souvent dans les données, plus elle devient « solide ». Le reste devient flou, approximatif… ou inventé.

Le Transformer : une machine à corrélations, pas à raisonnement

Le cœur du modèle repose sur l’architecture dite Transformer.

Oubliez l’image du cerveau humain.

• Ici, pas de mémoire persistante.
• Pas de conscience.
• Pas de compréhension.

Juste une immense fonction mathématique qui combine :

• Les tokens d’entrée,
• Des milliards de paramètres,
• Et des opérations répétées (attention, projections, normalisations).

Quand Karpathy parle du Transformer, il insiste sur un point clé :

Le modèle est stateless : à chaque requête, le modèle recalcule tout à partir du contexte fourni.

Vous croyez que le modèle « se souvient » de vous ? En réalité, il ne se souvient que de ce que vous mettez dans la conversation en cours.

L’inférence : pourquoi ChatGPT vous surprend… ou dérape

Une fois entraîné, le modèle ne « réfléchit » plus.

Il génère, token après token, via un tirage probabiliste.

C’est ce qu’on appelle l’inférence.

C'est pourquoi :

• Deux prompts identiques peuvent produire deux réponses différentes,
• La créativité vient… de l’aléatoire,
• La précision dépend du cadre que vous imposez.

Et c’est pour ça que ChatGPT peut parfois vous surprendre positivement… ou déraper sans prévenir.

Implication marketing directe :

• Prompt flou = modèle qui improvise
• Cadre clair = modèle qui performe

Mais à ce stade, on n’a encore qu’un « simulateur d’Internet ».

Pour obtenir un assistant vraiment utile, il faut ajouter… une couche humaine.

❌ Erreur n°9 – Oublier que ChatGPT est entraîné par des humains

Après le pré-training, on n’a pas encore de ChatGPT.

On a un juste un base model : un simulateur d’Internet.

Pour en faire un assistant, on ajoute une seconde phase : le post-training (ou fine-tuning).

Le principe est simple : on continue l’entraînement, mais plus sur des pages web. Sur des conversations écrites par des humains :

• Un utilisateur pose une question,
• L’assistant donne la « meilleure » réponse possible.

Progressivement, le modèle apprend les règles implicites du jeu conversationnel : aider, structurer, expliquer, refuser parfois…

Pourquoi ChatGPT vous répond comme un humain compétent (et confiant)

Point clé du cours de Karpathy : quand vous parlez à ChatGPT, vous ne parlez pas à une entité neutre ou omnisciente.

Vous parlez à une simulation statistique de personnes humaines suivant des consignes du type : « helpful, truthful, harmless » / utile, vrai, sans danger.

Autrement dit : ChatGPT répond comme un humain bien briefé répondrait. Pas comme « la vérité incarnée ».

C’est ce qui explique son ton posé, pédagogique… et parfois trop confiant.

Ce que ça change concrètement pour vous, les copywriters et marketeurs

ChatGPT est excellent pour imiter un bon junior :

• Structurer,
• Reformuler,
• Décliner,
• Produire vite.

Mais il reste fragile sur :

• La stratégie,
• La vérification factuelle,
• La priorisation business.

En clair, votre rôle de copywriter / marketer ne disparaît pas (encore).

Il se déplace : du faire vers le cadrage, du texte vers la décision.

Une fois ce fonctionnement compris, vous pouvez exploiter l’IA comme un vrai levier.

❌ Erreur n°10 – Ne pas vous former sérieusement… et ne pas vous abonner à Promptopia

Si vous deviez retenir 5 idées clés de cet article :

1. ChatGPT ne comprend pas : il prédit.
2. Il travaille en tokens, pas en phrases.
3. Il compresse Internet, avec pertes.
4. Il imite des humains formés, pas la réalité brute.
5. La qualité de sortie dépend du cadre, pas de la magie.

Les professionnels qui tirent le meilleur de l’IA ne sont pas ceux qui « promptent le mieux ».

Ce sont ceux qui pensent le plus clairement.

Comprendre les LLM, ce n’est pas devenir ingénieur.

C’est devenir meilleur stratège, meilleur copywriter, meilleur décideur.