🧠 Gérer la mémoire de conversation : un levier de frugalité souvent négligé

L’impact de la mémoire

À chaque nouveau message dans une conversation, l'assistant IA recharge tout l'historique pour maintenir le contexte.

Concrètement :

1er message : 100k tokens consommés
2e message : 100k (historique) + 100k (nouveau) = 200k tokens
3e message : 200k (historique) + 100k (nouveau) = 300k tokens

👉 Plus la conversation s'allonge, plus chaque nouvelle interaction coûte cher en ressources, même si le message lui-même est court.

Le problème : si ce contexte n'est plus utile pour votre nouvelle demande, vous payez (indirectement) le coût de cette mémoire sans en tirer aucun bénéfice, tout en ralentissant les échanges (moins de performance), en consommant davantage de tokens (coût indirect), et en augmentant l’empreinte écologique (énergie, mais aussi eau utilisée pour le refroidissement des infrastructures). L’objectif : être plus frugal — cf. l’article L’IA, mieux plutôt que plus : adopter une approche frugale.

🧩 Petit rappel : mémoire + tokens

Un assistant basé sur un LLM ne “se souvient” pas au sens humain : il relit à chaque message une partie (ou tout) de l’historique de la conversation, dans la limite de sa fenêtre de contexte. Cette fenêtre se mesure en tokens (unités de texte).

👉 Pour une explication simple et des ordres de grandeur, voir : Les limites des LLM et la notion de tokens.

Quand garder la même conversation ?

Il est pertinent de poursuivre la même conversation lorsque :

vous itérez sur un même document ou sujet
vous affinez progressivement une réponse
vous posez des questions complémentaires liées au contexte précédent
vous demandez des ajustements de format ou de contenu

Exemple :

"Résume ce rapport en 5 points clés"
"Ajoute une recommandation pour chaque point"
"Mets tout ça sous forme de tableau"

Ici, chaque message s'appuie sur le précédent : la mémoire est utile et justifie son coût.

Quand ouvrir une nouvelle conversation ?

Il est préférable de démarrer une nouvelle conversation dès que :

vous changez complètement de sujet
vous passez à un nouveau document sans lien avec le précédent
vous avez fini une tâche et passez à autre chose
la conversation devient longue et le contexte initial n'est plus pertinent

Exemple :

Conversation 1 : analyse d'un document marketing → Terminé ✓

Nouvelle conversation : rédaction d'un email client

👉 Aucun lien entre les deux sujets → aucune raison de conserver l'historique de la première conversation.

Le réflexe à adopter

Posez-vous cette question simple avant de continuer une conversation :

"Est-ce que l'IA a besoin de se souvenir de ce qui précède pour répondre correctement ?"

Oui → continuez dans la même conversation
Non → ouvrez-en une nouvelle

Ce geste simple peut diviser par 2 ou 3 la consommation de tokens (et donc d’énergie utilisée) sur une journée d'utilisation, tout en maintenant la même qualité de réponses.

En résumé

Situation	Action recommandée
Itération sur un même sujet	Garder la conversation
Affinage d'une réponse	Garder la conversation
Changement de sujet	Nouvelle conversation
Conversation longue et contexte dépassé	Nouvelle conversation
Document différent sans lien	Nouvelle conversation

👉 Gérer activement ses conversations, c'est éviter de payer pour une mémoire devenue inutile.

C'est un levier simple, immédiat, et très efficace pour adopter une approche plus frugale au quotidien.