Langue
Un benchmark inter-éditeurs de classification de l'actualité française par Le French News Lab
Par Amr Sobhy
FrenchNews-7 est un projet de recherche qui organise 87 637 articles de presse française issus de 13 éditeurs en 7 catégories rédactionnelles partagées. Il a été conçu pour soutenir la recherche en journalisme, le TALN français et l'expérimentation pratique de la classification par rubriques entre différents médias.
87,637
articles étiquetés
13
éditeurs de presse française
7
catégories rédactionnelles partagées
72.3%
étiquettes lues directement depuis les slugs d'URL des éditeurs
1
modèle public sur Hugging Face
1
jeu de données manifest-only sur Hugging Face
87 637 articles de presse française collectés auprès de 13 éditeurs. Chaque couleur représente l'une des sept catégories rédactionnelles — Politique, Société, International, Sport, Économie, Culture & Loisirs, et Sciences & Technologies.
L'objectif : un benchmark suffisamment vaste et diversifié pour entraîner et évaluer un classifieur par rubrique qui fonctionne dans différentes rédactions, pas seulement une seule.
Chaque article du corpus est attribué à exactement une des sept catégories rédactionnelles. Chaque bloc ci-dessous représente une catégorie, dimensionné proportionnellement au nombre d'articles qu'elle contient. Société, International et Culture & Loisirs représentent ensemble près des deux tiers du corpus, tandis que Sciences & Technologies est la plus petite avec moins de 5 %.
La taxonomie a été construite par une analyse inter-éditeurs plutôt qu'en copiant la structure de rubriques d'un seul média, ce qui rend le benchmark utilisable dans différentes rédactions.
72,2 % des articles ont été étiquetés en lisant la catégorie directement depuis l'URL de l'article — les URL des médias français contiennent généralement un segment de chemin comme /sport/ ou /politique/. Cela n'a nécessité aucun modèle, seulement des règles déterministes appliquées aux motifs d'URL des éditeurs.
Les 27,8 % restants présentaient des signaux d'URL ambigus ou manquants et ont été étiquetés par un LLM. Une étude de qualité sur 300 de ces articles a utilisé deux LLM, un arbitre et un annotateur humain ignorant la taxonomie d'URL ; l'humain a indépendamment correspondu à 84 % des étiquettes attribuées (κ de Cohen = 0,806), confirmant la fiabilité du signal.
Étiquettes URL-slug : déterministes, sans modèle. Étiquettes LLM : audit qualité sur 300 articles ; accord avec annotateur humain κ = 0,806.
Quatre modèles ont été testés sur le texte intégral de l'article (titre + corps). CamemBERT-base atteint un macro-F1 de 0,847 et une précision de 0,860 — le meilleur résultat en texte intégral, et le modèle que nous avons publié publiquement sur Hugging Face.
Sur le titre seul, CamemBERTav2-base mène de justesse (0,797 contre 0,794). Dans les deux contextes, les modèles pré-entraînés spécifiques au français surpassent mBERT, la baseline multilingue.
Le véritable test d'un classifieur est de savoir s'il fonctionne sur des éditeurs qu'il n'a jamais vus à l'entraînement. Nous avons mis de côté 2 100 articles de quatre éditeurs exclus de l'entraînement et mesuré la performance des catégories du modèle.
Six des sept catégories atteignent un rappel de 0,81 ou plus sur ces médias inconnus — une généralisation solide pour un modèle qui n'a jamais vu ces rédactions.
L'Économie est l'exception — ce qui constitue un contenu économique varie davantage d'un éditeur à l'autre que toute autre catégorie.
Un grand modèle polyvalent peut-il ignorer complètement les données d'entraînement et quand même classer l'actualité française ? Nous avons testé GPT-OSS-120B en mode zéro-shot — uniquement une liste de catégories et le texte de l'article, sans exemples ni affinage.
Notre CamemBERT-base affiné le surpasse de +4,6 points de pourcentage en macro-rappel : 0,799 contre 0,753. Un modèle de 110M de paramètres entraîné sur des données étiquetées spécifiques au domaine bat un modèle de 120 milliards de paramètres sans aucune instruction — l'affinage sur les bonnes données l'emporte encore.
Un modèle affiné de 110M de paramètres bat un zéro-shot de 120B de +4,6 pp en macro-rappel (0,799 contre 0,753).
FrenchNews-7 puise dans 13 médias couvrant les quotidiens nationaux, la presse régionale, les magazines d'actualité et les sites natifs du numérique — un mélange délibéré de traditions éditoriales, de profils d'audience et de styles d'écriture.
Cette diversité est le principe même. Un modèle qui ne fonctionne que sur un seul média n'est pas un benchmark — c'est un outil interne. FrenchNews-7 est conçu pour mesurer si la classification par rubrique se transfère à l'ensemble de la presse française.
Les médias ne classent pas toujours les sujets de la même façon. Un éditeur peut ranger un article sous politique, tandis qu'un autre traitera un sujet similaire comme société ou économie. Cela rend difficile la comparaison de la couverture éditoriale entre médias ou la construction d'outils de classification fiables en français.
FrenchNews-7 a été créé pour faciliter cette comparaison. Il fournit un cadre partagé à 7 catégories couvrant 13 éditeurs français, permettant d'étudier l'organisation de l'actualité, d'évaluer des systèmes de classification et d'expérimenter l'analyse inter-éditeurs de manière plus cohérente.
FrenchNews-7 harmonise les sections éditoriales propres à chaque éditeur en une taxonomie partagée à 7 étiquettes.
Affaires sociales, faits divers, santé, éducation, criminalité et société civile.
Arts, livres, cinéma, musique, télévision, loisirs et art de vivre.
Affaires étrangères, géopolitique et événements majeurs hors de France.
Politique française, élections, institutions, gouvernement et affaires législatives.
Couverture sportive toutes disciplines et compétitions.
Entreprises, finance, marchés, macroéconomie et actualité des sociétés.
Recherche scientifique, technologie, innovation numérique et sujets environnement-sciences.
De nombreux éditeurs français organisent déjà leurs articles en sections éditoriales telles que politique, économie, sport ou culture. FrenchNews-7 prend ces structures éditoriales comme point de départ, puis les harmonise en un benchmark commun à 7 catégories.
Dans la plupart des cas, les étiquettes sont ancrées dans l'information de section assignée par l'éditeur. Dans les cas où la structure d'URL est ambiguë ou ne correspond pas clairement à la taxonomie partagée, une étape de labélisation de secours est utilisée et validée.
En pratique
Cette conception rend le benchmark utile à la fois comme jeu de données de recherche et comme moyen pratique d'étudier l'organisation thématique entre différents sites d'actualité français.
FrenchNews-7 est publié comme un petit écosystème de recherche plutôt qu'un article seul.
L'article décrit la conception du benchmark, la taxonomie, le pipeline de labélisation, le dispositif d'évaluation et les principaux résultats.
Un classifieur CamemBERT-base public est disponible pour la classification par rubriques rédactionnelles de l'actualité française en 7 catégories.
La publication du jeu de données est manifest-only : elle inclut les métadonnées, étiquettes, fichiers de taxonomie et ressources de reconstruction, mais ne redistribue pas le texte des articles.
Les questions, collaborations et demandes médias peuvent être adressées au French News Lab.
Le benchmark soutient plusieurs conclusions pratiques et orientées recherche.
La classification par rubriques rédactionnelles de l'actualité française peut se transférer au-delà d'un seul éditeur : sur 2 100 articles issus de quatre médias non vus à l'entraînement, six des sept catégories atteignent un rappel supérieur ou égal à 0,810.
L'utilisation du titre + corps de l'article surpasse systématiquement la classification sur titres seuls : CamemBERT-base gagne 5,3 points de macro-F1 par rapport à sa variante titre seul.
Les modèles conçus pour le français surpassent les baselines multilingues plus larges sur cette tâche.
Certaines catégories se généralisent fortement aux éditeurs non vus, tandis que l'économie reste plus difficile.
Sur la partition de test principale, CamemBERT-base (titre + corps) atteint un macro-F1 de 0,847 et une précision de 0,860. Le modèle affiné surpasse GPT-OSS-120B en zéro-shot de +4,6 points de macro-rappel (0,799 contre 0,753).
Détails techniques ci-dessous
FrenchNews-7 est un benchmark de classification thématique de l'actualité française à 7 classes, construit à partir de 87 637 articles étiquetés issus de 13 éditeurs. La publication publique est manifest-only et conçue pour la reproductibilité sans redistribuer le texte des articles.
| Total d'articles | 87,637 |
| Éditeurs | 13 |
| Étiquettes | 7 |
| Partition d'entraînement | 61,345 |
| Partition de validation | 13,146 |
| Partition de test | 13,146 |
| Publication publique | Modèle affiné + ressources du jeu de données manifest |
| Modèle recommandé | CamemBERT-base FrenchNews-7 |
| Résultat principal du benchmark | macro-F1 0,847 sur la partition de test |
Le benchmark harmonise les structures éditoriales propres à chaque éditeur en une taxonomie partagée. La plupart des étiquettes sont ancrées dans l'assignation de section éditoriale de l'éditeur, tandis qu'un groupe d'ambiguïté plus restreint est traité par une étape de labélisation de secours et validé indépendamment.
L'article rend compte à la fois de la performance standard sur la partition de test et de la généralisation inter-éditeurs sur 2 100 articles issus de quatre médias non vus. Six des sept catégories atteignent un rappel supérieur ou égal à 0,810, tandis qu'Économie reste la frontière la plus difficile.
FrenchNews-7 est destiné à soutenir la recherche et l'évaluation comparative sans redistribuer le contenu protégé par le droit d'auteur des éditeurs.
La publication publique inclut des matériaux produits par le dépôt tels que les étiquettes, les définitions de taxonomie, le packaging des métadonnées et les utilitaires de reconstruction. Elle n'inclut pas le texte brut des articles.
Toute récupération, stockage, traitement ou redistribution en aval du matériel source reste de la responsabilité de l'utilisateur et doit être conforme au droit applicable, aux conditions des éditeurs, aux directives robots et à la politique institutionnelle.
Si vous utilisez FrenchNews-7 ou le classifieur associé, veuillez citer l'article.
@misc{sobhy2026frenchnews7,
title = {FrenchNews-7: Benchmarking Cross-Publisher French News Editorial Desk Classification},
author = {Amr Sobhy},
year = {2026},
note = {Working paper, version April 2026},
}La citation sera mise à jour avec le lien arXiv et les détails de publication définitifs lorsqu'ils seront disponibles.
Pour les collaborations de recherche, les questions médias ou les demandes institutionnelles, contactez Le French News Lab.
Le French News Lab
