Comment on teste, étape par étape

1. Étape 1

   Les mêmes consignes pour tous

   Chaque modèle reçoit exactement les mêmes demandes, sans outil ni aide extérieure.

2. Étape 2

   57 tests de code secrets

   Trois tâches de code. Le code produit est exécuté pour de vrai (Node 22 et PHP 8.3), et des tests que le modèle n'a jamais vus vérifient le résultat.

3. Étape 3

   22 règles de rédaction

   Deux textes en français, vérifiés automatiquement : longueur, forme, consignes respectées. La qualité du style sera jugée à l'aveugle à partir de 2027.

4. Étape 4

   5 essais pour la fiabilité

   En local, chaque modèle refait le test 5 fois. La fiabilité est la part des tests réussis aux 5 essais : un modèle qui réussit une fois sur deux n'est pas fiable au quotidien.

5. Étape 5

   Mémoire et vitesse mesurées

   Sur notre Mac Studio M1 Max de 32 Go : mémoire utilisée, temps pour écrire 500 mots, temps de chargement.

6. Étape 6

   Coût calculé

   Pour les modèles du nuage, le coût de 1 000 tâches selon les prix publiés des fournisseurs.

Ce qui est mesuré, ce qui est estimé

Nos règles

• Aucun chiffre inventé : un fait non vérifié est écrit « non vérifié », ou retiré.
• Les sources sont citées, avec la date de lecture.
• Les prix sont en dollars canadiens quand la source les donne.
• Un modèle déjà testé n'est pas retesté sans raison : on reprend son résultat daté.
• Aucun fournisseur d'IA ne paie pour apparaître dans nos tests ni pour en influencer les résultats. Les tests sont financés par Jacob Bédard seul.