L’accuracy mesure la proportion de prédictions correctes parmi toutes les prédictions d’un modèle de classification. L’AUC (Area Under the Curve) mesure l’aire sous la courbe ROC, qui trace le taux de vrais positifs contre le taux de faux positifs pour tous les seuils de décision possibles. Ces deux métriques répondent à des questions différentes, et les confondre fausse l’évaluation d’un algorithme.
Ce que l’AUC capture et que l’accuracy ignore
L’accuracy repose sur un seuil fixe, généralement 0,5. Le modèle classe chaque observation comme positive ou négative en fonction de ce seuil unique, puis on compte les bonnes réponses. Cette simplicité pose un problème structurel : l’accuracy dépend du seuil choisi, mais ne dit rien sur le comportement du modèle aux autres seuils.
L’AUC, elle, évalue la capacité du modèle à ordonner correctement les observations. Un score AUC élevé signifie que le modèle attribue, en moyenne, une probabilité plus forte aux vrais positifs qu’aux vrais négatifs. Cette propriété est indépendante du seuil de classification.
Pour le formuler autrement : l’accuracy répond à la question « combien de prédictions sont justes avec ce réglage ? », tandis que l’AUC répond à « le modèle sait-il distinguer les classes ? ». Un modèle peut avoir une accuracy correcte à un seuil donné tout en étant médiocre pour séparer les distributions de scores entre classes.
Accuracy et données déséquilibrées : le piège classique
Prenons un jeu de données où la classe négative représente la grande majorité des observations. Un modèle qui prédit systématiquement « négatif » obtient une accuracy très élevée sans avoir appris quoi que ce soit. Ce scénario n’est pas théorique : détection de fraude, diagnostic de maladies rares, détection d’intrusions réseau – les cas de déséquilibre fort sont courants.
Dans ces situations, l’accuracy masque l’incapacité du modèle à détecter la classe minoritaire. Le taux de vrais positifs (TPR) peut être proche de zéro sans que l’accuracy en souffre visiblement. L’AUC, en intégrant le TPR et le FPR sur l’ensemble des seuils, reflète mieux la performance réelle sur les deux classes.
La pratique industrielle récente va plus loin. Pour les jeux de données très déséquilibrés, même l’AUC-ROC peut être trop indulgente, car le FPR reste faible quand la classe négative domine. Deux alternatives gagnent du terrain :
- PR-AUC (aire sous la courbe précision-rappel), qui se concentre sur la performance vis-à-vis de la classe positive et pénalise davantage les faux positifs parmi les prédictions positives.
- Balanced accuracy (macro-rappel par classe), qui calcule la moyenne du rappel de chaque classe et empêche la classe majoritaire de gonfler artificiellement le score.
- Le F1-score, qui combine précision et rappel en une seule valeur et reste pertinent quand le coût des faux négatifs et des faux positifs est comparable.
Seuil de décision et contrainte métier
Le choix entre AUC et accuracy dépend aussi du contexte métier dans lequel le modèle opère. L’AUC est utile en phase d’évaluation et de comparaison de modèles, parce qu’elle résume la qualité de discrimination sans fixer de seuil. En production, un seuil doit être choisi, et c’est là que l’accuracy (ou d’autres métriques liées au seuil) reprend un rôle.
Un modèle de scoring marketing peut tolérer un taux de faux positifs élevé si le coût d’un contact inutile est faible. Un modèle de diagnostic médical ne peut pas se permettre un taux de faux négatifs élevé. Le seuil adapté dépend du ratio entre le coût des erreurs, pas d’une convention arbitraire à 0,5.
En pratique, la courbe ROC sert à visualiser les compromis TPR/FPR disponibles, puis le seuil est fixé selon la contrainte métier. L’accuracy mesurée à ce seuil devient alors un indicateur opérationnel, mais elle ne suffit pas à valider le modèle en amont.
Exigences réglementaires sur la déclaration des métriques
Le Règlement (UE) 2024/1689 sur l’intelligence artificielle (AI Act) introduit une obligation formelle pour les systèmes d’IA à haut risque. L’article 15(3) impose de nommer les métriques utilisées pour évaluer la performance, de déclarer le niveau obtenu sur des jeux de validation décrits, et de documenter les conditions qui dégradent cette performance (segments sous-représentés, changements de distribution, contraintes matérielles).
Cette exigence a une conséquence directe sur le choix entre AUC et accuracy. Déclarer uniquement l’accuracy sur un jeu déséquilibré ne satisfait pas l’obligation de transparence si cette métrique masque une performance dégradée sur certains segments. Le règlement pousse à combiner plusieurs métriques et à expliciter les limites de chacune.
L’article 13 complète cette approche en exigeant que les instructions d’utilisation précisent la population de test, le choix de la métrique, et les circonstances où le score se dégrade. Choisir AUC ou accuracy n’est plus seulement une décision technique : c’est aussi une question de conformité documentaire.
Quand utiliser l’AUC, quand utiliser l’accuracy
L’AUC convient quand le seuil de décision n’est pas encore fixé, quand les classes sont déséquilibrées, ou quand la capacité de discrimination du modèle prime sur la performance à un point de fonctionnement précis. Elle permet aussi de comparer des modèles entre eux indépendamment du seuil.
L’accuracy convient quand les classes sont à peu près équilibrées, quand le seuil est déjà défini par une contrainte métier, et quand la question posée est simplement « quel pourcentage de prédictions ce modèle réussit-il en production ? ». Dans ce cas précis, elle reste lisible et interprétable par des interlocuteurs non techniques.
Pour les projets soumis à l’AI Act ou impliquant des jeux fortement déséquilibrés, combiner AUC-ROC, PR-AUC et balanced accuracy donne une image plus complète que n’importe laquelle de ces métriques prise isolément.
Le choix d’un indicateur de performance n’est pas un détail d’implémentation. Une métrique mal choisie peut valider un modèle défaillant ou disqualifier un modèle performant. Documenter ce choix, le justifier par le contexte métier et le cadre réglementaire, fait partie du travail d’évaluation au même titre que l’entraînement du modèle.
