Qui a publié ce titre ? Empreinte éditoriale de la presse française à sujet contrôlé

Amr Sobhy

Workshop on Web as Corpus (WaC-13) @ EMNLP 2026·Évalué par les pairs

Qui a publié ce titre ?

Un modèle lit un seul titre de presse française — sujet fixé, noms masqués, tiré d’une année sur laquelle il n’a jamais été entraîné — et nomme l’éditeur à près de six fois le hasard. L’essentiel de ce qu’il lit se révèle typographique.

Par Amr Sobhy

Présentation par affiche

Identifier le média est la partie facile. La question difficile est de savoir de quoi ce signal est fait, et si une part en relève du cadrage. Équilibrer les rubriques ne suffit pas : les titres d’un média diffèrent à la fois par sa manière d’écrire et par ce qu’il choisit de couvrir, et le contrôle par rubrique ne sépare pas les deux. Tenir l’événement rapporté constant le permet. Dans ce cas, trois des quatre différences pré-spécifiées tombent à près de zéro.

Année: 2026
Conférence: WaC-13 @ EMNLP 2026; Présentation par affiche
Domaine de recherche: Journalisme computationnel, Stylométrie, Médias français, TALN

Lire l’article · à la publicationDonnées et code · publication prévue

170 160

titres, équilibrés sur dix médias et trois rubriques

5,8×

le hasard, sur un titre à entités masquées d’une année jamais vue

44%

de la marge du modèle caractère relève de la présentation : casse, ponctuation, typographie

1 sur 4

contrastes de cadrage pré-spécifiés survivent au contrôle par événement

Deux questions, pas une

Savoir si un modèle peut dire quel média a écrit un titre est une question. Savoir si la différence qu’il trouve relève du cadrage en est une autre, et la seconde ne découle pas de la première.

Les titres d’un média diffèrent de ceux de ses concurrents pour deux raisons à la fois : sa manière d’écrire et ce qu’il choisit de couvrir. Équilibrer le corpus par rubrique élimine la version grossière de la seconde — un quotidien économique ne peut plus être identifié au seul volume de sa couverture financière — mais un agenda survit au contrôle par rubrique. À l’intérieur même de la rubrique Politique, les médias couvrent des sujets différents selon les jours.

L’étude gravit donc une échelle de contrôles de plus en plus stricts : équilibrer les rubriques, masquer les entités nommées, dépouiller la forme de surface, et enfin tenir l’événement rapporté constant en ne comparant que des titres portant sur la même histoire. Chaque échelon retire une explication. Ce qui subsiste au sommet est la part qui peut se lire comme du cadrage.

INT

POL

ÉCO

Le Monde

Le Figaro

Les Échos

Libération

La Croix

Le Parisien

Franceinfo

BFMTV

TF1 INFO

Ouest-France

Trente cellules, 5 672 titres chacune. Identiques par construction — c’est précisément l’objet.

01 / 08

Dix médias, trois rubriques d’information dure, toutes les cellules de même taille.

Média et sujet sont enchevêtrés : un quotidien qui couvre davantage la finance paraît distinctif alors que le modèle lit en réalité le mot « Bourse ». L’équilibrage supprime la version grossière de ce phénomène. Chaque cellule média×rubrique contient 5 672 titres — 170 160 au total, tirés d’une collecte existante des éditions en ligne de ces médias entre 2021 et 2025.

Dix titres, ancrés sur les classements quotidiens de l’ACPM : six quotidiens nationaux, trois rédactions audiovisuelles et Ouest-France pour l’ancrage régional.

INT

POL

ÉCO

Le Monde

Le Figaro

Les Échos

Libération

La Croix

Le Parisien

Franceinfo

BFMTV

TF1 INFO

Ouest-France

Trente cellules, 5 672 titres chacune. Identiques par construction — c’est précisément l’objet.

02 / 08

Un tirage à dix possibilités tombe juste une fois sur dix.

Le hasard vaut 0,100. Prédire systématiquement le média le plus fréquent donne 0,094 sur la partition temporelle.

Tous les chiffres qui suivent se mesurent à ce plancher. Les modèles sont entraînés sur 2021-2024 et testés sur 2025 — une année qu’aucun d’eux n’a vue.

0,100

exactitude au hasard

0,094 · classe majoritaire, partition temporelle

Tâche à dix classes. Entraînement sur 2021-2024, test sur 2025.

03 / 08

Trois modèles de pointe, la liste des dix médias en main, passent sous un sac de mots.

Sollicités en zero-shot avec la liste des médias et un titre brut de 2025, trois LLM à poids ouverts retrouvent l’éditeur entre 0,19 et 0,21 — environ deux fois le hasard, et en deçà d’une régression logistique lexicale entraînée sur le corpus, à 0,326.

Les modèles entraînés montent à partir de là, et le gain le plus net vient du passage des mots aux caractères. Un CamemBERT affiné atteint 0,576 sur texte à entités masquées.

LLM zero-shot

0,19–0,21

RL lexicale

0,326

SVM caractères

0,496

XLM-R

0,561

CamemBERT

0,576

hasard 0,100

Entités masquées, partition temporelle. L’échelon LLM est un intervalle sur trois modèles à poids ouverts, non une estimation ponctuelle.

04 / 08

Il ne lit pas l’ours.

L’explication évidente est l’autoréférence : les médias se nomment eux-mêmes, et le modèle apprend le nom. Masquer chaque autocitation devrait donc coûter en exactitude.

Il n’en est rien. CamemBERT obtient 0,615 sur texte brut et 0,620 avec les autoréférences masquées. La condition masquée est même marginalement devant, et le sens de l’écart n’est pas stable d’une graine à l’autre.

0,615

brut

0,620

autoréférences masquées

Texte brut, entités non masquées — les deux valeurs dépassent donc le chiffre de référence de 0,576. Masquer les autocitations ne coûte rien.

05 / 08

Passez en minuscules, supprimez la ponctuation, et deux cinquièmes du signal partent avec.

Le modèle caractère est celui qui se démonte par étapes. Sur texte brut il atteint 0,496. Passer en minuscules et supprimer toute ponctuation, tout chiffre et tout espace le fait tomber à 0,324.

Masquer en outre chaque entité nommée l’abaisse à 0,270. Un modèle lexical sur le même texte dépouillé suit le modèle caractère à 0,002 près à chaque étape : ce qui subsiste est bien lexical, et non un artefact sous-lexical.

hasard

0,496

brut

0,324

sans casse, ponctuation, chiffres

0,270

… et toutes entités masquées

SVM caractères, partition temporelle. Les étapes sont cumulatives et appliquées dans cet ordre.

06 / 08

Quarante-quatre pour cent de présentation, quatorze de noms propres, quarante-trois de choix des mots.

Décomposition en trois parts de la marge au-dessus du hasard du modèle caractère : environ 44 % relèvent de la présentation — typographie, casse, chiffres ; environ 14 % de quelles entités sont nommées ; environ 43 % d’un résidu lexical qui survit à la suppression des deux.

Ces parts sont définies par ablation et dépendantes de l’ordre, elles ne constituent pas une partition causale additive, et elles sont propres au modèle caractère interprétable. Le transformeur ne se dépouille pas par étapes, même si sa composante entités perd une part comparable.

44%

présentation — typographie, casse, chiffres

14%

entités nommées

43%

résidu lexical survivant aux deux

Part de la marge au-dessus du hasard du SVM caractères ; les parts sont arrondies et ne somment pas à 100. Définies par ablation et dépendantes de l’ordre.

07 / 08

Le résidu n’est pas le ton, et il n’est pas seulement la spécialité.

Une famille de traits de ton interprétables — sentiment, posture, atténuation — retrouve le média à 0,13, à peine au-dessus du hasard, et n’ajoute presque rien à vingt traits de surface. Quel que soit ce résidu, il n’est pas réductible au ton à l’échelle d’un titre isolé.

Le vocabulaire de spécialité est un meilleur candidat : « évêques » pour La Croix, « cryptos » pour Les Échos, « commune » pour Ouest-France. Retirer les mots de contenu les plus distinctifs de chaque média ferme moins de 40 % de la marge du résidu et laisse un plancher à 2,34 fois le hasard. La courbe s’aplatit au lieu de décroître.

L’axe vertical ne part pas de zéro — toute la décroissance tient dans une bande de 0,09. Les traits de ton seuls atteignent 0,13.

08 / 08

Même événement, même fenêtre : trois différences sur quatre tombent à près de zéro.

Le contrôle par rubrique ne sépare pas la manière d’écrire de ce qui est couvert. Tenir l’événement rapporté constant le permet. Le regroupement des titres quasi identiques publiés dans la même fenêtre par des médias différents produit 626 événements couvrant 3 006 titres et les dix titres du panel.

À l’intérieur de ces grappes, les deux contrastes d’attribution pré-spécifiés s’effondrent, la valence aussi. Un contraste survit à la correction : BFMTV place les acteurs institutionnels et les entreprises en sujet grammatical plus souvent que la moyenne du panel.

626 événements, 3 006 titres, les dix médias. L’intervalle n’est tracé que pour le contraste confirmé, seul à disposer d’une erreur type publiée.

Ce qui compte comme le même événement

Toute la déflation repose sur cette étape de regroupement, qui porte donc sa propre validation.

Les événements sont reconstitués comme des grappes inter-médias de titres quasi identiques publiés dans la même fenêtre, avec un seuil cosinus de 0,70 et un minimum de quatre médias distincts par grappe. Ce seuil n’affirme pas que cette similarité équivaut à l’identité d’événement ; c’est un seuil retenu pour maintenir une précision élevée, à un coût connu en rappel.

Sur 400 paires échantillonnées, la règle trouve 184 positifs avec une précision de 0,944 et un rappel d’échantillon de 0,370. Un second annotateur s’accorde sur l’identité d’événement à κ = 0,82, avec 92 % d’accord brut, et un audit de 30 grappes a vérifié la pureté directement.

Le rappel sur l’ensemble des 478 110 titres n’est pas estimable sans un étalon exhaustif d’identité d’événement, qui n’existe pas. Les grappes constituent donc un échantillon à haute précision des événements couverts conjointement par ces médias, et non leur recensement.

La seule différence qui survit

À événement constant, BFMTV attribue un sujet agentif plus souvent que la moyenne des médias.

L’estimation est β = +0,056, avec un p unilatéral de 0,002 et un p corrigé de Bonferroni de 0,008. Elle tient après suppression des quasi-doublons syndiqués, sous re-notation à modèle fixe avec retrait d’un média, et à travers un jackknife sur 626 événements.

L’excédent se concentre sur les agents institutionnels et les entreprises — ministères, sociétés, États. Restreindre le sujet à un référent humain animé laisse trop peu d’occurrences intra-événement pour trancher le contraste : le résultat porte donc sur le cadrage par acteurs institutionnels, et non sur la façon dont les personnes sont décrites.

L’extracteur d’agentivité s’accorde avec les codeurs humains à κ = 0,63, avec une précision de 0,89 et un rappel d’environ 0,66 sur l’étalon groupé de 240 titres. Sous une sous-détection non différentielle, cela atténuerait l’estimation plutôt que de la gonfler, mais une erreur d’extraction différentielle reste une limite. L’effet observé est légèrement inférieur à l’effet minimal détectable nominal de 0,060 à 80 % de puissance, la puissance atteinte étant d’environ 0,73 au seuil de Bonferroni.

Comment mal lire ces résultats

Cinq phrases que cette étude ne soutient pas.

Le modèle détecte un biais médiatique.

Il détecte un style maison, et celui-ci est surtout typographique.

44 % de la marge du modèle caractère tiennent à la casse, à la ponctuation et aux chiffres. Rien dans la tâche d’attribution ne mesure l’exactitude, l’orientation ou la bonne foi.

BFMTV est biaisée en faveur des institutions.

Dans les titres portant sur le même événement, BFMTV place les acteurs institutionnels et les entreprises en sujet grammatical plus souvent que la moyenne du panel.

Il s’agit d’une différence mesurée de construction de phrase, face à neuf autres médias. Elle porte sur des ministères, des sociétés et des États, non sur des personnes, et ne dit rien d’une intention.

Les médias ne diffèrent pas dans leur façon de cadrer les sujets.

Trois des quatre contrastes pré-spécifiés n’ont pas survécu au contrôle par événement à cette taille d’échantillon.

626 événements donnent à ce protocole la puissance de détecter des effets intra-événement modérés. Un résultat nul borne un effet ; il n’établit pas son absence.

Voici tout ce que ces dix médias ont publié.

Ce sont les articles disponibles dans une collecte existante de leurs éditions en ligne.

Aucune collecte exhaustive n’est revendiquée. L’Humanité a été écartée pour un déficit de collecte au regard du plancher par rubrique, et non pour un jugement éditorial.

Six fois le hasard signifie qu’une personne en ferait autant.

C’est un modèle entraîné sur ce corpus qui y parvient, sur une tâche équilibrée à dix classes.

Le chiffre n’affirme rien sur les lecteurs humains et ne se transpose pas à un flux de titres non équilibré.

Il s’agit d’une étude de titres. Elle ne lit pas le corps des articles, ne sait pas si un titre correspond au texte qu’il coiffe, et ne voit pas les sujets qu’un média a choisi de ne pas couvrir.

Ce qui est publié

Identifiants d’articles, empreintes de contenu, code d’extraction et d’échantillonnage, traits dérivés, étiquettes de rubrique par titre, codebook de cadrage, annotations étalon et manifeste de reconstruction du corpus.

Le texte brut des titres n’est pas diffusé, pour des raisons de droit d’auteur. Le manifeste permet de reconstruire le corpus équilibré à partir d’URL publiques et de vérifier chaque enregistrement contre les empreintes d’origine.

Les tables de résultats diffusées sont vérifiables, mais l’ensemble de 478 110 titres qui alimente l’analyse à événement apparié n’est pas fourni : cette analyse ne peut donc pas être reconstruite indépendamment à partir du seul paquet.

Questions

Est-ce un score de biais médiatique ?

Non. L’étude mesure si un éditeur est identifiable à la forme d’un titre, et de quoi cette identifiabilité est faite. Rien n’y suit l’exactitude, rien n’y suit un positionnement gauche-droite. Un média peut être très identifiable et parfaitement exact.

Pourquoi les titres plutôt que les articles entiers ?

Le titre est l’unité que la plupart des lecteurs voient réellement, et c’est le cas le plus difficile : si une empreinte d’éditeur survit dans quinze mots, elle a peu de chances d’être un artefact de longueur. C’est aussi l’affirmation la plus étroite — rien ici ne décrit les articles sous les titres.

Pourquoi ces dix médias ?

Le critère de sélection est ancré sur l’ACPM, l’organisme français de mesure de la presse : un titre national généraliste, avec une couverture continue d’information dure de 2021 à 2025 et un volume suffisant par rubrique. Six quotidiens nationaux, trois rédactions audiovisuelles et un quotidien régional y répondent. L’Humanité a été écartée pour un déficit de collecte, non pour un jugement éditorial.

Le modèle fonctionne-t-il encore sur des textes plus récents ?

Les chiffres publiés sont déjà hors année d’entraînement : entraînement sur 2021-2024, test sur 2025, une année jamais vue par les modèles. La dérive au-delà de cette fenêtre n’est pas testée.

Le corpus peut-il être reconstruit ?

Les identifiants et les empreintes de contenu sont diffusés, de sorte que chaque enregistrement peut être récupéré et vérifié. Le texte brut ne l’est pas, pour des raisons de droit d’auteur, et l’ensemble complet des articles qui alimente l’analyse à événement apparié n’est pas fourni.

Citation

@inproceedings{sobhy2026editorial,
  title     = {Who Published This Headline? Editorial Fingerprinting in French
               News Under Topic Control},
  author    = {Sobhy, Amr},
  booktitle = {Proceedings of the 13th Web as Corpus Workshop (WaC-13) at EMNLP 2026},
  year      = {2026},
  note      = {Accepted as a poster. To appear.},
}

À paraître dans les actes de WaC-13 à EMNLP 2026.

Ce travail a été soutenu par

Contact

Pour des questions de recherche, des collaborations ou des demandes médias.

Amr Sobhy

Poursuivre la lecture

Autres travaux du lab

Voir toutes les publications →