Amazon SageMaker Clarify 現在支援基礎模型評估。您可以評估、比較並選擇適合您的特定使用案例的最佳基礎模型。只需選擇您要針對給定任務評估的模型，例如問題回答或內容摘要。然後選擇評估標準 (例如準確性、公平性和穩健性)，然後上傳您自己的提示資料集，或從內建的公開可用資料集中進行選擇。對於需要精細人為判斷的主觀條件或細緻內容，您可以選擇使用自己的人力，或使用 AWS 提供的受管理人力來檢閱回應。完成設定程序後，SageMaker Clarify 會執行其評估並產生報告，以便您可以輕鬆了解模型在關鍵條件上的執行情況。您可以使用評估精靈來評估 SageMaker JumpStart 中的基礎模型，也可以使用開放原始碼程式庫來評估不在 AWS 上託管的任何基礎模型。