A.u.c. et courbe ROC : comment interpréter vos modèles IA ?

L’AUC et la courbe ROC sont deux métriques complémentaires pour évaluer un modèle de classification, mais elles ne répondent pas à la même question. La courbe ROC cartographie le comportement du modèle sur l’ensemble des seuils de décision possibles. L’AUC (Area Under the Curve) résume cette information en une valeur unique comprise entre 0 et 1. Comprendre la distinction entre ces deux outils permet d’éviter des erreurs d’interprétation qui conduisent à des décisions incorrectes sur le déploiement d’un modèle.

Lecture de la courbe ROC et signification des axes

La courbe ROC représente, pour chaque seuil de décision, le taux de vrais positifs (TPR, aussi appelé sensibilité) en ordonnée, et le taux de faux positifs (FPR, soit 1 moins la spécificité) en abscisse. Chaque point de la courbe correspond à un seuil différent.

A lire en complément : Comment la numérisation a révolutionné les magazines

Deux repères structurent la lecture : la diagonale représente un classifieur aléatoire, et le coin supérieur gauche (TPR = 1, FPR = 0) représente la performance parfaite. Plus la courbe s’éloigne de la diagonale vers ce coin, meilleure est la discrimination du modèle.

Valeur d’AUC Interprétation Usage pratique
1,0 Classification parfaite Suspect (souvent un data leakage)
0,9 – 0,99 Excellente discrimination Modèle potentiellement déployable
0,7 – 0,89 Bonne discrimination Performance acceptable selon le contexte
0,5 – 0,69 Discrimination faible Modèle peu utile en pratique
0,5 Équivalent à un tirage aléatoire Modèle sans pouvoir prédictif

Une AUC de 1,0 mérite d’être examinée avec attention : elle signale souvent une fuite de données entre l’ensemble d’entraînement et celui de test, plutôt qu’un modèle véritablement parfait.

Lire également : Message push : c'est quoi ?

Ce que l’AUC mesure réellement – et ce qu’elle ne mesure pas

L’AUC exprime la probabilité qu’un exemple positif tiré aléatoirement reçoive un score plus élevé qu’un exemple négatif tiré aléatoirement. C’est une mesure de capacité de classement, indépendante du seuil choisi.

Cette propriété en fait un outil robuste pour comparer deux modèles sur un même jeu de données. Un modèle avec une AUC de 0,85 classe mieux les positifs devant les négatifs qu’un modèle à 0,72, toutes choses égales par ailleurs.

Pourtant, une AUC élevée ne garantit pas des probabilités fiables. Un modèle peut très bien ordonner les exemples dans le bon sens tout en annonçant qu’un cas a 80 % de probabilité d’être positif alors que la fréquence réellement observée dans les données est de 40 %. Cette propriété – la calibration – est distincte de la discrimination mesurée par l’AUC.

Ingénieur en machine learning examinant des courbes ROC imprimées avec scores AUC dans un bureau à domicile aménagé

Choisir un seuil adapté sur la courbe ROC

L’AUC résume la performance globale, mais en production, le modèle prend une décision binaire à partir d’un seuil fixé. Le choix de ce seuil dépend du coût relatif des erreurs : un faux négatif est-il plus grave qu’un faux positif ?

Plusieurs méthodes permettent d’identifier un point opératoire sur la courbe :

  • L’indice de Youden augmente la somme TPR – FPR. Il donne le seuil qui optimise simultanément sensibilité et spécificité, sans pondération des erreurs.
  • La distance au coin supérieur gauche identifie le point de la courbe le plus proche du classifieur parfait (TPR = 1, FPR = 0), ce qui revient à équilibrer les deux types d’erreurs.
  • L’analyse coût-bénéfice intègre les conséquences réelles de chaque type d’erreur. En détection de fraude, un faux négatif (fraude manquée) coûte généralement bien plus qu’un faux positif (alerte injustifiée), ce qui justifie un seuil bas.

Un seuil bas augmente la sensibilité au détriment de la spécificité : le modèle détecte plus de vrais positifs mais génère davantage de fausses alarmes. Un seuil élevé fait l’inverse. La courbe ROC visualise cet arbitrage sur l’ensemble des valeurs possibles.

Comparer plusieurs modèles avec la courbe ROC

Lorsque deux courbes ROC ne se croisent pas, le choix est direct : le modèle dont la courbe domine l’autre sur toute la plage de FPR est préférable. Mais dans la majorité des cas réels, les courbes se croisent.

Quand les courbes se croisent, l’AUC globale peut avantager un modèle qui performe mieux sur une plage de FPR peu pertinente pour l’usage visé. Dans ce cas, il convient de comparer les AUC partielles sur la plage de FPR effectivement utilisable en production, plutôt que sur l’intégralité de la courbe.

Une étude publiée dans PLOS Digital Health illustre ce point : en comparant plusieurs algorithmes sous validation temporelle stricte, les différences de discrimination entre modèles ne se sont pas traduites par un bénéfice clinique supplémentaire selon l’analyse de courbes de décision. La régression logistique, modèle plus simple, obtenait une calibration satisfaisante dans cette cohorte – un résultat qui nuance l’idée qu’une AUC plus élevée implique nécessairement une meilleure utilité pratique.

AUC et calibration : deux exigences distinctes au déploiement

La question du déploiement est souvent sous-estimée dans l’évaluation initiale des modèles. Un modèle évalué sur une population donnée peut être confronté, en production, à des patients ou des utilisateurs dont les caractéristiques diffèrent – par la prévalence de la condition cible, par la démographie, ou par le contexte de collecte des données.

Un changement de prévalence peut rendre les probabilités moins pertinentes sans modifier l’AUC. La FDA le signale explicitement dans ses lignes directrices sur l’évaluation de la calibration des modèles probabilistes : si le jeu de données d’évaluation n’est pas représentatif de la population de déploiement, les probabilités prédites peuvent être systématiquement biaisées, même si le classement relatif des cas reste correct.

Une performance agrégée satisfaisante peut également masquer des sous-groupes où le modèle fonctionne nettement moins bien. Examiner les performances par sous-groupe et par site de déploiement complète l’AUC globale et révèle des défaillances que cette métrique seule ne détecte pas.

Deux outils complètent l’évaluation dans ce contexte :

  • Les courbes de calibration (reliability plots) comparent les probabilités prédites aux fréquences observées. Un modèle bien calibré produit une courbe proche de la diagonale : si le modèle prédit 70 % pour un groupe de cas, environ 70 % d’entre eux doivent effectivement être positifs.
  • Les courbes de décision (decision curves) mesurent le bénéfice net d’un modèle sur une plage de préférences cliniques ou métier, en intégrant explicitement le coût des faux positifs et des faux négatifs selon les valeurs du décideur.

Ces deux analyses sont plus informatives que l’AUC seule lorsqu’il s’agit de décider si un modèle peut être déployé dans un contexte différent de celui de son évaluation initiale.

Limites de l’AUC sur données déséquilibrées

Sur des jeux de données fortement déséquilibrés – où la classe positive est rare – l’AUC peut afficher des valeurs élevées tout en masquant une piètre précision. Un modèle qui classe correctement la quasi-totalité des négatifs peut obtenir une AUC correcte sans jamais détecter la majorité des positifs.

Dans ces situations, la courbe Precision-Recall (PR) et l’aire sous cette courbe (AUPR) offrent une lecture plus informative. Elle met en évidence la performance du modèle spécifiquement sur la classe minoritaire, ce que la courbe ROC tend à atténuer.

L’AUC reste une métrique de référence pour comparer des modèles de classification, à condition de l’associer à une analyse de calibration, à une vérification des performances par sous-groupe, et à un examen du contexte de déploiement. Ces trois vérifications transforment une évaluation en surface en une évaluation actionnable.