Che tipo di distorsione rileva SageMaker Clarify?
Misurare le distorsioni in modelli di ML è un primo passo verso il loro contenimento. Le distorsioni possono essere misurate prima dell'addestramento (come parte della preparazione dei dati), dopo l'addestramento (utilizzando Esperimenti Amazon SageMaker) e durante l'inferenza per un modello implementato (con Amazon SageMaker Model Monitor). Ciascuno degli oltre 20 parametri di distorsione corrisponde a una diversa nozione di equità. Scegli parametri validi per l'applicazione e la situazione oggetto di indagine. Ad esempio, prima dell'addestramento, i parametri come Class Imbalance e differenze nella distribuzione delle etichette tra i gruppi verificano se i dati di addestramento sono rappresentativi della popolazione complessiva. SageMaker Clarify considera sia le differenze di risultato positive (favorevoli) che le differenze di distribuzione delle singole etichette per rilevare se un gruppo è sottorappresentato. Dopo l'addestramento o durante l'implementazione, i parametri di distorsione aiutano a misurare se e quanto le prestazioni del modello differiscono tra i gruppi. Parametri come Equal Representation e Disparate Impact misurano le differenze nelle previsioni positive. I parametri Equal Performance, come la differenza di precisione (probabilità che una previsione positiva sia corretta) e il recupero (probabilità che il modello etichetti correttamente un esempio positivo), valutano la distribuzione equa degli errori tra i gruppi. Scopri di più in questo post del blog.