Corpus et sources
| Provenance | manual |
| Établie le | 2026-08-31 |
| Faits les plus anciens | 2026-08-04 |
| Version de méthode | method-ranking-v1 |
Cet en-tête est saisi à la main, et il ne répond que de la part rédigée de cette page. Les blocs calculés qui suivent portent leurs propres dates, et ce sont elles qui font foi sur ce qu'ils publient.
Ce qui peut entrer au corpus
Le critère d'inclusion est mécanique. Il porte sur la nature d'un projet et sur notre capacité à l'observer, jamais sur sa qualité : trier « les projets sérieux » avant de les instruire reviendrait à juger sans grille, puis à présenter le résultat comme si la grille l'avait produit.
Entre au corpus tout projet qui remplit les trois conditions :
- Il est observable sans permission — ses artefacts se lisent sans compte ni contrat. Cette condition n'est pas administrative : tout ce que ce site publie repose sur des faits qu'un lecteur peut aller revérifier lui-même.
- Il propose une méthode explicite — un cycle, des étapes nommées, des artefacts imposés ou produits. Un recueil d'instructions isolé n'en est pas une.
- Il vise le travail d'un agent sur un cycle de développement logiciel ou produit — pas l'assistance à la frappe, pas la complétion de ligne.
Ce qui en est écarté, et pourquoi
Une exclusion sans motif n'oppose rien à personne. Chacune porte le sien, et chacune dit aussi ce que ce motif n'est pas.
| Écarté | Motif | Ce que ce motif n'est pas |
|---|---|---|
| Les offres fermées | Non observables : nous ne pourrions renseigner leurs critères qu'en croyant leur documentation commerciale sur parole | Un jugement sur leur qualité. Plusieurs sont probablement bonnes ; nous n'avons aucun moyen honnête de le dire |
| Les recueils d'instructions isolés | Aucune méthode : rien à comparer sur un cycle | Un dédain pour leur utilité pratique |
| Les extensions d'éditeur sans méthode | Outillage d'assistance, autre catégorie | Une frontière étanche — un projet qui se dote d'un cycle explicite devient éligible |
Un cas limite est listé et signalé comme tel, jamais tranché en silence. Si nous hésitons à faire entrer un projet, le lecteur a le droit de le savoir et de trancher autrement.
Ce qui a le droit de fonder un fait
Toutes les sources ne servent pas à la même chose, et une même adresse peut jouer plusieurs rôles — la liste curée du domaine SRC-002 est un canal de découverte et une publication tierce. Chaque fait publié cite la nature sous laquelle sa source a été employée. Sans cette distinction, un projet cité dans un comparatif deviendrait une preuve de sa propre qualité.
La liste des natures est close : une valeur hors de cette liste fait échouer la lecture du registre. Chaque nature énonce ce qu'elle autorise et ce qu'elle n'autorise pas — une nature qui n'énonce que la première moitié est un mot sans contrat, et c'est la moitié qu'on oublie parce qu'elle est celle qui gêne.
Le registre ci-dessous est en croissance : une source s'ajoute par décision datée et motivée, et aucune ne disparaît. Effacer une ligne effacerait la trace d'un choix.
Ce que ce registre ne dit pas
Il ne classe pas les sources, et il ne dit pas laquelle est la meilleure. Il dit ce que chacune a le droit de fonder, et ce qu'elle ne peut pas fonder seule.
Le registre des sources
18 sources inscrites. Chacune porte la date de son entrée et le motif de son admission.
| Id | Source | Nature | Statut | Alimente | Périmètre | Lu | Entrée le | Motif |
|---|---|---|---|---|---|---|---|---|
| SRC-001 | API REST GitHub — api.github.com |
fact_source |
in_service |
Axe 1, critères 1, 2, 5 · les faits d'arborescence des critères 4, 7, 9 · et les faits de titre de section du critère 6, depuis le 2026-08-27 | — | — | 2026-08-02 | Reproductible et datable : n'importe qui peut refaire l'appel et obtenir la même chose. Limites connues — voir classement.md § 7. Le critère 6 est inscrit le 2026-08-27, jour où il cesse de s'abstenir : cette source le sert seule, et le comment est écrit avec le numéro — un listage de répertoire de documentation et l'ouverture d'au plus trois fichiers ne se lisent pas comme un fait d'arborescence. Pas de révision de contrat : aucune colonne, aucune nature, aucune ligne n'a bougé, et la version reste sources-v4 (D-173) |
| SRC-002 | engineering4ai/awesome-spec-driven-development |
discovery_channel · fact_source · third_party_publication |
in_service |
Axe 1, corpus · critère 3 | — | — | 2026-08-02 | Énumération tenue par des tiers, indépendante de nos préférences. Seul canal dont le contenu est déjà une liste, donc directement comparable au corpus. fact_source ajoutée le 2026-09-04 : sa colonne Alimente disait déjà « critère 3 », mais aucune de ses deux natures ne l'autorisait — discovery_channel n'autorise pas « renseigner un critère », et third_party_publication autorise « rapporter le contenu d'une autre source », pas davantage. L'écart est resté invisible tant que le critère 3 s'abstenait ; il devient bloquant le jour où il note. Elle reste un canal de découverte et une publication tierce : une nature s'ajoute, aucune ne se retire |
| SRC-003 | cameronsjo/spec-compare |
discovery_channel · fact_source · third_party_publication |
in_service |
Axe 1, corpus · critère 3 | — | — | 2026-08-02 | Désigne les projets qu'un tiers a jugés comparables entre eux — un signal sur le périmètre autant que sur les entrées. fact_source ajoutée le 2026-09-04, même écart et même correction que SRC-002 : la colonne Alimente portait « critère 3 » sans qu'aucune nature l'autorise. La forme comparatif indépendant du critère 3 se lit par les endpoints de forge déjà employés (FR-014) : aucune source de fait nouvelle n'est ouverte pour elle |
| SRC-004 | torvalds/linux |
control |
withdrawn |
Toute campagne de relevé sur SRC-001, jusqu'au 2026-08-06 | — | — | 2026-08-02 | Dépôt au comportement connu — plusieurs commits par jour. Un silence y est impossible : il révèle une défaillance de la source, pas un fait. Retirée le 2026-08-06 : D-066 acte le changement de témoin — linux puis cpython —, et le témoin en service est désormais SRC-017. Elle reste inscrite et citable au passé : le journal d'incidents du 2026-08-02 établit par elle le retard de 47 jours de SRC-001, et effacer sa ligne effacerait la trace d'un choix (règle 2) |
| SRC-005 | Liste-semence de 23 entrées, fournie par Jean-Luc | discovery_channel |
in_service |
Axe 1, corpus | — | — | 2026-08-02 | Point de départ empirique, déclaré comme tel. N'attribue aucun rang : voir classement.md § 4 |
| SRC-006 | Brouillon de page « Aide au choix » antérieur au projet, conservé en archive hors dépôt | inspiration |
in_service |
Axe 1, structure de la page d'aide au choix | — | — | 2026-08-02 | Fournit un plan éprouvé — propriétés, cas d'usage, questions qui décident, sortie « aucun ». Aucun fait, chiffre ou énoncé n'en est repris : voir aide-au-choix.md § 6 |
| SRC-007 | METR — Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, 2025-07-10 · arXiv 2507.09089 | published_method_measure |
in_service |
Aide au choix, énoncés de contexte | Essai randomisé. 16 développeurs open-source expérimentés, 246 tâches sur leurs propres dépôts (22 000+ étoiles, 1 M+ lignes en moyenne), auxquels ils contribuent depuis des années. Faits de février à juin 2025. Outils : Cursor Pro, Claude 3.5/3.7 Sonnet. Rémunérés 150 $/h | primary |
2026-08-02 | Essai randomisé au protocole publié : la mesure est décrite assez précisément pour être discutée, ce qui est rare sur ce sujet. Ses auteurs ont eux-mêmes apposé un bandeau « These results are out of date », et elle n'est jamais citée sans lui — c'est avec SRC-008 le cas d'école de la règle 4 du protocole de synthèse |
| SRC-008 | METR — We are Changing our Developer Productivity Experiment Design, 2026-02-24 | published_method_measure |
in_service |
Aide au choix, énoncés de contexte | Seconde expérience, démarrée août 2025. 57 développeurs (10 de l'étude initiale, 47 nouveaux), 143 dépôts, 800+ tâches, médiane 10 ans d'expérience. Rémunérés 50 $/h. Déclarée non fiable par ses auteurs | primary |
2026-08-02 | Publiée par METR contre sa propre mesure antérieure : c'est la seconde moitié du couple SRC-007/SRC-008, et la raison pour laquelle la première n'est jamais citée seule. Le fait que ses auteurs la déclarent non fiable est écrit à chaque emploi, et fait partie de ce qui est cité |
| SRC-009 | DORA / Google Cloud — State of AI-assisted Software Development 2025 | published_method_survey |
in_service |
Aide au choix, énoncés de contexte | Enquête sectorielle mondiale auprès de professionnels de la technologie. Le site publie ses errata — signe de méthode. Primaire pour la thèse centrale seule ; les chiffres de détail sont derrière un formulaire et ne sont pas lus | partial |
2026-08-02 | Enquête de terrain à méthode publiée, et le site publie ses errata — peu de sources de ce format le font. Retenue pour sa thèse centrale, lue à la source ; les chiffres de détail ne sont pas repris, faute d'accès au rapport |
| SRC-010 | Stanford — programme de recherche sur la productivité en génie logiciel, ~100 000 développeurs, 600+ entreprises | published_method_measure |
in_service |
Aide au choix, énoncés de contexte | Comparaison des gains selon projet neuf / base existante et selon la complexité des tâches. Chiffres lus dans des reprises, pas dans la publication primaire | second_hand |
2026-08-02 | Inscrite pour que sa distance à nous soit visible plutôt que déduite d'un silence : ses chiffres nous parviennent par la chaîne SRC-013 → SRC-012 → SRC-010, à trois niveaux de la source. Dette déclarée — aucun chiffre n'en est repris, seulement signalé comme existant |
| SRC-011 | DORA / Google Cloud — 2025 AI Capabilities Model, v. 2025.1, CC BY-NC-SA 4.0 | published_method_survey |
in_service |
Aide au choix § « ce qui compte plus que le choix de l'outil » | Plus de 100 heures de données qualitatives et réponses de près de 5 000 professionnels de la technologie dans le monde, 2025. Établit sept capacités qui amplifient l'effet de l'adoption de l'IA sur des résultats nommés. Primaire, partiel — lus : résumé, chapitre « AI is an amplifier », figure du modèle, liste et définition des résultats, chapitre « AI-accessible internal data » ; non lus : cinq des sept chapitres de capacité et toute la partie priorisation | partial |
2026-08-02 | Seule source de cette ampleur sur les capacités qui amplifient l'effet de l'adoption. Employée faute d'équivalent, et son défaut d'indépendance est écrit dans le corps du texte, pas en note : DORA est un programme de Google Cloud, et les partenaires de recherche annoncés du rapport 2025 incluent GitHub et GitLab. À son crédit, elle publie ses errata. Plusieurs de ses résultats sont auto-évalués, ce qui se rappelle à chaque emploi |
| SRC-012 | DORA / Google Cloud — ROI of AI-assisted Software Development, version 2026.01. Auteurs : équipe DORA et delta innovation practice de Google Cloud | published_method_model |
in_service |
Aide au choix, études de ROI | Cadre de calcul, non une mesure. Chaîne de valeur : adoption → sept capacités → métriques de livraison → résultats non financiers → résultats financiers. ROI = (valeur − investissement) / investissement. Chiffres illustratifs sur une organisation supposée de 500 personnes. Publie ses errata et un calculateur. Rapport derrière formulaire, connu via SRC-013 ; page de présentation lue à la source |
second_hand |
2026-08-02 | Cadre de calcul publié, et non une mesure — inscrit comme modèle pour que la distinction soit opposable plutôt que rappelée en note. Publié par Google Cloud, qui vend des services d'IA : son chiffre de rendement portant sur les produits de Google Cloud eux-mêmes est une déclaration d'éditeur sur son propre produit, citée comme telle et jamais fondue dans les résultats du cadre. Dette déclarée — rapport derrière formulaire |
| SRC-013 | InfoQ — New DORA Report Claims Strong Engineering Foundations Drive AI Return on Investment, Matt Saunders, 2026-05-11 | third_party_publication |
in_service |
Aide au choix, études de ROI | Compte rendu détaillé de SRC-012, avec citations directes du rapport. Publication à comité éditorial, sans lien commercial connu avec l'objet | primary |
2026-08-02 | Seul accès lu à la source au contenu de SRC-012, dont le rapport est derrière formulaire. Publication à comité éditorial, sans lien commercial connu avec l'objet : c'est ce qui la sépare d'une reprise promotionnelle, et la condition à laquelle elle est inscrite. Elle rapporte SRC-012, elle ne le remplace pas |
| SRC-014 | Jegham, Abdelatti, Koh, Elmoubarki, Hendawi — How Hungry is AI? Benchmarking Energy, Water, and Carbon Footprint of LLM Inference, arXiv:2505.09598, v6 du 2025-11-24, CC BY 4.0 | published_method_measure_inferred_inputs |
in_service |
Axe 3, énoncés de contexte | 30 modèles en centres de données commerciaux. Combine des performances d'API publiques, des multiplicateurs environnementaux par entreprise et une inférence statistique des configurations matérielles. Unité : la requête, distinguée courte / longue. Primaire, résumé seul — texte intégral non lu | partial |
2026-08-02 | La seule façon d'estimer la consommation de services fermés : les configurations matérielles des centres de données commerciaux ne sont pas publiques, et la source les infère statistiquement — la précision apparente de ses résultats repose sur une reconstitution, ce qui est répété à chaque emploi. Révisée six fois entre mai et novembre 2025 : signe de sérieux, et rappel que tout chiffre de ce domaine est provisoire |
| SRC-015 | Singh, Nan, Wang, D'Souza, Kapoor, Üstün, Koyejo, Deng, Longpre, Smith, Ermis, Fadaee, Hooker — The Leaderboard Illusion, arXiv:2504.20879, v2 du 2025-05-12, CC BY-SA 4.0 | published_method_measure |
in_service |
Axe 3, énoncés de contexte | Analyse d'une plateforme publique de comparaison de modèles : pratiques d'évaluation privée non déclarées, divulgation sélective des scores, asymétries d'accès aux données. 68 pages. Primaire, résumé seul — texte intégral non lu | partial |
2026-08-02 | Travail au protocole publié qui borne ce qu'un classement public de modèles établit — évaluation privée non déclarée, divulgation sélective, asymétries d'accès. Inscrite pour que cette limite soit disponible partout où l'axe 3 rencontre un classement public. Résumé lu à la source ; les 68 pages ne sont pas lues |
| SRC-016 | Littérature sur la contamination des jeux d'évaluation — bibliographie curée lyy1994/awesome-data-contamination |
discovery_channel |
in_service |
Axe 3, corpus de lecture | Recensement de travaux sur la contamination des données d'évaluation. Non lue — repérée seulement | not_read |
2026-08-02 | Bibliographie curée tenue par un tiers, inscrite pour que son existence soit datée plutôt que déduite d'un silence : la contamination des jeux d'évaluation est un sujet ouvert de l'axe 3, et le canal qui y mène est nommé avant d'être exploité (règle 1). Aucun chiffre n'en est repris |
| SRC-017 | python/cpython |
control |
in_service |
Toute campagne de relevé sur SRC-001 | — | — | 2026-08-06 | Même profil que le témoin d'origine — un dépôt qui reçoit des dizaines de commits par jour, où un silence d'un mois n'existe pas : il révèle une défaillance de la source, pas un fait. Entrée datée du 2026-08-06, jour des campagnes qui l'ont interrogé et de D-066, qui acte le changement de témoin. Elle est écrite le 2026-08-25 : c'est la dette de registre que sources-v4 solde, et le motif pour lequel la chaîne nomme désormais les sources qu'elle emploie |
| SRC-018 | OpenAlex — API ouverte, api.openalex.org |
fact_source |
in_service |
Critère 3, forme citation académique | — | — | 2026-09-04 | Index bibliographique ouvert, interrogeable sans clé ni compte : l'adresse de rejeu est publique, et un lecteur sans accès privilégié refait le compte (SC-013). L'interrogation se fait par URL de dépôt uniquement (FR-007) — la recherche par nom d'outil a été mesurée inutilisable le 2026-09-02 (SPEC Kit : 1 255 résultats, zéro pertinent) et n'est pas réparable par un filtre. Ligne neuve sous une nature existante : elle ne bumpe pas à elle seule — c'est la règle que D-173 a déjà appliquée au critère 6, et le bump de sources-v5 vient de la nature ajoutée aux deux comparatifs |
Ce qui a été écarté du corpus
21 entrées admises, 2 écartées. Une exclusion sans motif n'oppose rien à personne : chacune porte le sien.
| Entrée | Motif de l'exclusion |
|---|---|
| skills | collection de skills invocables indépendamment — aucun cycle nommé ni artefact imposé (condition 2) |
| productskills | collection de 16 skills indépendants, chacun encodant un cadre distinct — aucun cycle nommé ni artefact imposé (condition 2) |
Les candidats de banc d'essai — critère 3
La population de la forme banc d'essai public rejouable — benchmark_population — est cette liste curée, déclarée dans formes-evaluation-tierce.md (formes-v1, lecture datée du 2026-09-04). Un candidat entre par croisement mécanique — un document qui nomme au moins deux entrées du corpus — puis est qualifié s'il publie les trois choses (les tâches, le harnais, les scores), ou écarté avec son motif et sa date. Aucun candidat découvert n'est perdu : chacun est dans l'une des deux tables.
0 candidat qualifié.
Aucun candidat qualifié. Le croisement n'en a découvert aucun à la lecture datée ci-dessus ; la table est vide, et c'est un état publié — pas une table qu'on aurait oublié de remplir.
| Candidat | Tâches | Harnais | Scores | Entrées nommées | Motif | Qualifié le |
|---|---|---|---|---|---|---|
0 candidat écarté.
Aucun candidat écarté, pour le même motif : aucun candidat n'a été découvert à écarter.
| Candidat | Motif | Écarté le |
|---|---|---|