Réponse courte. Gemma 4 26B, installé sur le Mac Studio avec Ollama, a rédigé des réponses aux avis Google presque aussi utilisables que celles de GPT-6.1 Sol d’OpenAI (96 % contre 100 %), sans fait inventé dans nos 24 essais. Le petit modèle Ministral 3 14B a inventé des faits dans 5 réponses sur 24, ce qui le rend non viable pour ce cas.
Ce cas ouvre la série « IA locale en vrai ». Chaque semaine, nous montons un usage concret d’une PME sur une machine du bureau, nous le mesurons et nous le comparons à ChatGPT. Pour le contexte, voyez notre page sur l’IA locale.
Que veut faire la PME?
Une entreprise de plomberie de Laval reçoit des avis Google chaque semaine. Le propriétaire veut un brouillon de réponse pour chacun : remercier, reprendre le service rendu, répondre au reproche s’il y en a un et inviter le client mécontent à appeler le bureau. Il relit, corrige au besoin, puis publie lui-même.
Pourquoi le faire en local? Les avis sont publics, mais les réponses touchent la réputation de l’entreprise, et certains clients écrivent leur numéro de téléphone ou leur adresse dans l’avis. Un modèle local (un modèle d’IA installé sur l’ordinateur du bureau) traite tout sur place, sans abonnement.
L’entreprise, ses techniciens et les 24 avis sont fictifs, écrits pour ce test. Nous avons glissé quelques pièges dans le lot. Un client accuse l’entreprise d’avoir mal installé une thermopompe, un service qu’elle n’offre pas. Deux avis contiennent un numéro de téléphone, une adresse ou un courriel. Un autre client exige un remboursement.
Comment avons-nous monté le test?
Le montage tient en un court script Python que vous pouvez refaire :
- Installer Ollama, le logiciel gratuit qui fait tourner les modèles ouverts sur Mac, Windows ou Linux. Un modèle ouvert est un modèle dont les fichiers sont publiés et téléchargeables.
- Écrire une consigne fixe qui contient la fiche de l’entreprise (services offerts et non offerts, heures, garantie, prénoms des techniciens, signature) et les règles : vouvoiement, 40 à 120 mots, aucun fait ni chiffre inventé, aucune promesse de remboursement, ne jamais répéter les coordonnées du client.
- Envoyer chaque avis, un à la fois, au modèle par l’interface locale d’Ollama, puis enregistrer la réponse.
Les trois modèles ont reçu la même consigne et les mêmes avis, un seul essai par avis :
- Gemma 4 26B de Google, en version QAT (quantifiée, c’est-à-dire compressée pour prendre moins de mémoire), 15 Go sur le disque. À notre test du labo, il a obtenu 93 % en code et 100 % en rédaction, le score en code le plus élevé des modèles locaux mesurés.
- Ministral 3 14B de Mistral, 9,1 Go, pour savoir si un ordinateur de bureau ordinaire suffit.
- GPT-6.1 Sol d’OpenAI par l’API (l’accès payant à l’usage), notre référence ChatGPT.
Une réponse est réussie si elle vouvoie, reprend le service, répond au reproche, signe au nom de l’entreprise, invite à appeler le bureau pour un avis de 1 ou 2 étoiles, et ne contient aucune erreur grave. Une vérification automatique fait le premier tri, puis nous avons relu les 72 réponses une par une.
Résultats : les modèles locaux tiennent-ils face à ChatGPT?
| Modèle | Où il tourne | Réussite | Erreurs graves | Temps par avis | Coût de 1 000 avis | Les données quittent le bureau? |
|---|---|---|---|---|---|---|
| Gemma 4 26B | Mac Studio, Ollama | 96 % | 0 | 2,2 s | 0 $ | Non |
| Ministral 3 14B | Mac Studio, Ollama | 71 % | 5 | 4,6 s | 0 $ | Non |
| GPT-6.1 Sol | Serveurs d’OpenAI | 100 % | 0 | 2,8 s | 1,75 $ US | Oui |
Le coût de GPT-6.1 Sol vient des jetons réellement consommés pendant le test (un jeton est un bout de mot, l’unité de facturation des API), au prix affiché par OpenAI de 2 $ US par million de jetons envoyés et de 10 $ US par million de jetons produits.
Un écart d’un avis sur 24 entre Gemma 4 26B et GPT-6.1 Sol n’est pas une vraie différence. L’écart avec Ministral 3 14B, lui, en est une. Les temps sont mesurés sur le Mac Studio, avec le modèle déjà chargé. Gemma 4 26B produisait environ 64 jetons par seconde, Ministral 3 14B environ 25. Le premier appel, qui charge le modèle en mémoire, a pris 27 s et 20 s respectivement.
Même à 200 avis par jour, le volume d’une agence qui gère les fiches de plusieurs clients, Gemma 4 26B finirait en 7 minutes environ, Ministral 3 14B en 15 minutes et GPT-6.1 Sol en 9 minutes, pour 0,35 $ US par jour.
Où ça casse?
Ministral 3 14B invente pour se défendre. À une cliente qui attend un rappel depuis une semaine, il répond « Un technicien de notre équipe vous a contactée pour vous informer des prochaines étapes ». À un client qui conteste des frais d’urgence, il affirme que les tarifs sont « affichés sur notre site web et lors de la prise de contact initiale ». Rien de cela n’est dans la fiche. Publiées telles quelles, ces réponses contredisent le client en public avec des faits faux. Nous avons relevé 5 cas de ce genre sur 24.
Ministral 3 14B soigne mal la forme. Il écrit « Cher Nathalie », « Cher Amélie » ou « Cher Valérie » (5 réponses) et met des astérisques de mise en gras dans 10 réponses, qui s’afficheraient telles quelles sur Google.
Gemma 4 26B reste parfois vague. À une cliente qui se dit facturée pour une inspection par caméra qu’elle n’avait pas demandée, il répond seulement « nous sommes désolés d’apprendre votre insatisfaction concernant l’inspection par caméra », sans parler de la facture. C’est sa seule réponse jugée ratée. Ailleurs, il écrit « nous avons manqué notre rendez-vous » à une cliente dont le technicien est arrivé en retard, une nuance à corriger à la relecture.
Le piège de la thermopompe est passé chez les trois. Les trois modèles ont précisé que l’entreprise n’offre pas ce service, sans admettre l’installation. Aucun n’a repris le numéro de téléphone, l’adresse ou le courriel glissés dans les avis, et aucun n’a promis de remboursement.
Que faut-il pour le faire chez vous?
- Mémoire. Comptez la taille du modèle multipliée par 1,2, plus 4 Go pour le système. Cela donne environ 22 Go pour Gemma 4 26B, donc un ordinateur de 32 Go, et environ 15 Go pour Ministral 3 14B, donc 16 Go au minimum. Pendant le test, Ollama occupait 15 Go avec Gemma 4 26B et 9,4 Go avec Ministral 3 14B.
- Mise en place. Installer Ollama, télécharger le modèle (15 Go), puis écrire la fiche de l’entreprise et la consigne. Le temps que cela prend à une personne n’a pas été mesuré. Relier le tout à votre compte Google demande un travail de plus, non mesuré non plus.
- Entretien. Mettre la fiche à jour quand un service, une heure d’ouverture ou une garantie change, puisque le modèle ne connaît que ce que vous lui donnez. Relire chaque réponse avant de la publier.
Notre verdict
Gemma 4 26B : viable avec relecture humaine. Ses brouillons sont presque au niveau de GPT-6.1 Sol, sans fait inventé dans nos essais, et rien ne quitte le bureau. Une réponse publique au nom de l’entreprise mérite de toute façon une relecture, quel que soit le modèle.
Ministral 3 14B : pas viable pour ce cas. Cinq réponses sur 24 contenaient un fait inventé, souvent contraire à ce que dit le client. La relecture devrait tout vérifier, ce qui annule le gain de temps.
GPT-6.1 Sol reste la référence, avec 24 réponses réussies sur 24 pour moins de 2 $ US par 1 000 avis. Le choix entre lui et Gemma 4 26B tient donc surtout à la machine dont vous disposez et à votre préférence pour garder les données sur place.
Limites
Le jeu est fictif et compte 24 avis, avec un seul essai par avis, le 6 novembre 2026, sur le Mac Studio. Les modèles locaux ont tourné à température 0 (le réglage qui rend les réponses les plus constantes) ; l’API d’OpenAI a refusé ce réglage pour GPT-6.1 Sol, qui a donc tourné avec son réglage par défaut. La relecture et les critères de réussite sont les nôtres. Nous n’avons pas mesuré la publication automatique des réponses dans Google, ni le comportement sur des avis en anglais.
Cet article ne constitue pas un avis juridique. Pour vos obligations sur les renseignements personnels, consultez la Commission d’accès à l’information et un conseiller juridique.
Questions fréquentes
Peut-on publier les réponses sans les relire? Nous ne le conseillons pas. Sans erreur grave, Gemma 4 26B a quand même produit une réponse vague et une nuance inexacte sur 24. Une réponse publique engage l’entreprise.
Un ordinateur de bureau ordinaire suffit-il? Avec 16 Go de mémoire, un petit modèle comme Ministral 3 14B tourne, mais il a inventé trop de faits dans ce cas. Pour Gemma 4 26B, prévoyez 32 Go.
Les données des clients restent-elles au bureau? Avec Ollama, oui. Les avis et les réponses ne quittent pas l’ordinateur. Avec GPT-6.1 Sol, les avis sont envoyés aux serveurs d’OpenAI.
Par Jacob Bédard, COOMOA. Publié le 6 novembre 2026. Notre méthode.