Classer des messages : règles, LLM, classifieur ou Jev

Un même problème, quatre familles déjà connues

Trier un message entrant en une catégorie n'a rien de nouveau : c'est un problème de classification de texte, documenté depuis des années. Notre article sur le choix entre modèle de décision et LLM pose déjà le critère qui départage les familles : qui lit la sortie, du code ou une personne. Ce dossier ne rejoue pas cet arbitrage conceptuel. Il rassemble les chiffres publics qui permettent de le vérifier sur un cas précis, le tri de messages, avec quatre approches : un moteur de règles et mots-clés, un classifieur entraîné (fastText, une régression logistique, SetFit ou une API de classification), un grand modèle de langage appelé avec une instruction de sortie JSON, et Jev, le modèle de décision calibré de TypeSafe AI, présenté dans notre article sur Jev et implémenté pas à pas dans notre guide Jev sur Cloudflare Workers AI.

Les chiffres qui suivent viennent tous de bancs d'essai publiés par des tiers, de tarifs affichés par les éditeurs ou de relevés de la démo publique askjev.ai. Aucun ne vient d'un test mené par La Refonte sur son propre corpus de messages ; le tri d'un flux de messages entrants reste un cas d'usage fréquent pour une petite structure, comme le rappelle notre article sur l'automatisation des tâches.

Précision : ce que mesurent les bancs d'essai publics

Aucun banc d'essai public ne porte exactement sur un tri de messages clients. Les plus proches restent les études qui comparent un modèle affiné sur des exemples annotés à un grand modèle de langage appelé sans entraînement (zero-shot), sur des tâches de classification de texte en catégories. Une étude publiée en juin 2024 compare cinq modèles affinés (RoBERTa, DeBERTa V3, ELECTRA, XLNet, BART) à GPT-3.5, GPT-4 et Claude Opus en zero-shot, sur quatre tâches testées chacune sur 200 exemples. L'écart varie fortement selon la tâche : sur une analyse de sentiment, GPT-4 atteint un F1 de 0,87 contre 0,92 pour RoBERTa Large, un écart faible. Sur une classification de position (stance) à plusieurs catégories, l'écart se creuse : DeBERTa V3 atteint un F1 de 0,94 contre 0,51 pour GPT-4 et 0,57 pour Claude Opus. Sur une détection d'émotion à catégories fines, GPT-3.5 tombe à un F1 de 0,15.

Un second banc d'essai, plus ancien mais toujours cité, compare SetFit, un classifieur entraîné sur peu d'exemples avec un modèle de 110 millions de paramètres, à GPT-3 (175 milliards de paramètres) sur le benchmark RAFT : SetFit obtient un score de 0,669 contre 0,627 pour GPT-3, en gagnant sur 7 des 11 tâches, avec un modèle 1 600 fois plus petit. La leçon commune aux deux études : un modèle entraîné sur des exemples de la tâche reste compétitif ou supérieur à un LLM zero-shot, surtout quand les catégories sont nombreuses ou proches les unes des autres, ce qui est souvent le cas d'un tri de messages entrants. Aucun de ces deux bancs d'essai n'inclut Jev ; aucune mesure publique de précision n'existe pour ce modèle sur une tâche de classification de texte à la date de publication de cet article.

Coût pour 1 000 messages : le calcul, poste par poste

Les tarifs ci-dessous viennent des pages de tarification publiées par chaque éditeur, consultées le 20 septembre 2026. Pour rendre les tarifs comparables, le calcul suppose un message d'entrée d'environ 200 tokens (le texte du message et la consigne de classement) et une sortie de classification d'environ 20 tokens (la catégorie et un score). C'est une hypothèse de calcul, pas une mesure : elle sert à convertir un tarif par million de tokens en un coût par 1 000 messages, et elle doit être ajustée à la longueur réelle de vos messages avant toute décision.

Avec cette hypothèse, GPT-5 nano (0,05 $ par million de tokens en entrée, 0,40 $ en sortie selon la documentation tarifaire d'OpenAI) coûte environ 0,018 $ pour 1 000 messages. Mistral Small 4 (0,15 $ / 0,60 $ par million de tokens) coûte environ 0,042 $. Claude Haiku 4.5 (1 $ / 5 $ par million de tokens selon Anthropic) coûte environ 0,30 $, soit près de dix-sept fois le tarif de GPT-5 nano pour la même hypothèse de longueur. L'API Classifier de Mistral, un classifieur entraînable à 0,04 $ par million de tokens en entrée comme en sortie, revient à environ 0,009 $ pour 1 000 messages, avec en plus un coût d'entraînement de 1 $ par million de tokens et un stockage de 2 $ par modèle et par mois. Jev, au tarif de lancement publié par TypeSafe AI (0,042 $ par million de tokens en entrée, sortie gratuite), revient à environ 0,008 $ pour 1 000 messages. Un moteur de règles ne facture rien par message : son coût est celui du serveur qui l'exécute, pas d'un appel à un fournisseur. Le choix entre GPT, Claude ou Mistral pour un usage de rédaction plutôt que de classification est détaillé dans notre comparatif de modèles IA.

Latence : ce que les fournisseurs publient

Les fournisseurs ne publient pas tous leurs latences dans les mêmes conditions, ce qui rend la comparaison approximative. Sur la démo publique askjev.ai, non affiliée à l'éditeur, 172 appels lisibles les 18 et 19 septembre 2026 donnent une latence minimale de 117 ms, une médiane de 188 ms et un 95e centile à 395 ms, pour un coût affiché de 0,0000444 $ par appel, sur environ 1 057 tokens en entrée. Pour un LLM léger appelé en zero-shot, deux bancs d'essai publics donnent des temps de première réponse de 0,69 seconde (Claude Haiku 4.5, mode non-raisonnement, artificialanalysis.ai) à 0,96 seconde sur un prompt court (le même modèle via Amazon Bedrock, aimultiple.com, mesure du 12 août 2026). Ces deux chiffres portent sur le temps avant le premier jeton, pas sur la réponse complète.

Pour un classifieur entraîné ou un moteur de règles, aucun fournisseur ne publie de 95e centile comparable dans les mêmes conditions : ces modèles sont construits pour tourner sans appel à un grand modèle génératif. Un banc d'essai sur fastText note qu'il produit un modèle complet « en quelques minutes, sur une machine avec CPU seul », contre 20 à 28 minutes sur GPU pour un transformeur et 40 à 50 minutes pour affiner GPT-3 sur les serveurs d'OpenAI : un ordre de grandeur qui vaut pour l'entraînement, pas pour la latence d'une réponse individuelle, mais qui situe le rapport de coût de calcul entre les familles.

Calibration : quand la probabilité veut dire quelque chose

Un score de précision (accuracy, F1) dit si le modèle a globalement raison. Il ne dit pas si sa probabilité affichée, 92 % ou 60 %, correspond à une vraie chance d'avoir raison : c'est la calibration. Une étude publiée en août 2024, sur douze jeux de données de classification en production, de 1 000 à 10 000 exemples annotés chacun, mesure l'erreur de calibration (ECE) avant tout ajustement : environ 45 % pour la confiance auto-déclarée d'un modèle GPT, environ 50 % pour sa probabilité de logprob, contre 11 % pour une régression logistique classique. Après un ajustement statistique standard, les trois approches se rapprochent : 5 % à 8 % d'erreur. Sans cet ajustement, un seuil fixé sur la probabilité brute d'un LLM se déclenche à un rythme différent de ce que la probabilité affichée laisse croire.

C'est le point que la précision seule ne montre pas : un modèle qui répond juste 87 % du temps mais annonce 98 % de confiance pousse à relâcher la relecture humaine au mauvais moment. Jev est présenté par son éditeur comme un modèle calibré, avec une architecture propre désignée RLCD ; aucune étude indépendante de calibration n'a été trouvée pour ce modèle à la date de publication de cet article, seulement la revendication de l'éditeur.

Rejouer cette comparaison sur vos messages

Les chiffres de ce dossier viennent de bancs d'essai publiés par des tiers, de tarifs affichés par les éditeurs et de la démo publique askjev.ai : aucun ne vient d'un test mené par La Refonte sur un corpus de messages français. La méthode qui suit permet de rejouer la même comparaison sur votre propre flux, avec vos propres catégories.