La mesure du biais dans les modèles ML est la première étape de l'atténuation du biais. Le biais peut être mesuré avant l'entraînement (dans le cadre de la préparation des données), après l'entraînement (à l'aide d'Amazon SageMaker Experiments) et lors de l'inférence pour un modèle déployé (avec Amazon SageMaker Model Monitor). Chacune des plus de 20 métriques de biais correspond à une notion différente d'équité. Vous choisissez des métriques qui sont valides pour l'application et la situation étudiées. Par exemple, avant l'entraînement, des métriques telles que le déséquilibre des classes et les différences dans la distribution des étiquettes entre les groupes permettent de vérifier si les données d'entraînement sont représentatives de la population globale. SageMaker Clarify prend en compte à la fois les différences de résultats positives (favorables) et les différences de distribution des étiquettes individuelles afin de détecter si un groupe est sous-représenté. Après l'entraînement ou pendant le déploiement, les métriques de biais permettent de mesurer si, et dans quelle mesure, les performances du modèle diffèrent d'un groupe à l'autre. Des métriques telles que la représentation égale et l'impact disparate mesurent les différences entre les prévisions positives. Des métriques de performance égales telles que la différence de précision (probabilité qu'une prédiction positive soit correcte) et de rappel (probabilité que le modèle qualifie correctement un exemple positif) évaluent la distribution égale des erreurs entre les groupes. Pour en savoir plus, consultez cet article de blog.