Méthode
Cinq règles. Chacune a été écrite après avoir été violée au moins une fois.
1. Toute affirmation mène à un artefact
Un dépôt, un rapport, un banc, un graphe, un journal d'expérience. Sans artefact, il n'y a pas d'affirmation.
2. Valider l'instrument avant de croire le chiffre
Une passe A/A est obligatoire. Hors de 1,0000 ± 0,005, l'instrument est inutilisable et ses chiffres sont jetés.
3. Les résultats sont datés
Les classements bougent. Chaque résultat compétitif porte une date et renvoie au classement d'origine.
4. Les résultats négatifs restent visibles
Une hypothèse qui a échoué est une preuve. Un laboratoire qui ne montre que ses victoires est une page marketing.
5. Faits et interprétations séparés
« 125,0 → 135,9 tok/s entre deux configurations » est un fait. « La configuration compte plus que le noyau » est la conclusion d'une expérience, écrite avec sa portée.
Indépendance
Lobster Swamp n'est ni un fournisseur de modèles, ni un hébergeur, ni un régulateur, et n'est affilié à aucun des systèmes qu'il mesure.