Comment puis-je évaluer et sélectionner les modèles de fondation ?
Amazon SageMaker Clarify prend désormais en charge l'évaluation des modèles de fondation. Vous pouvez évaluer, comparer et sélectionner les meilleurs modèles de fondation pour votre cas d'utilisation spécifique. Choisissez simplement le modèle que vous souhaitez évaluer pour une tâche donnée, telle que répondre à une question ou résumer un contenu. Sélectionnez ensuite les critères d'évaluation (par exemple, précision, équité et robustesse) et chargez votre propre jeu de données d'invites ou faites votre choix parmi des jeux de données intégrés accessibles publiquement. Pour des critères subjectifs ou du contenu nuancé exigeant un avis humain sophistiqué, vous pouvez faire appel à vos propres employés ou à une main-d'œuvre gérée fournie par AWS pour examiner les réponses. Une fois le processus de configuration terminé, SageMaker Clarify effectue ses évaluations et génère un rapport qui vous permet de comprendre facilement les performances du modèle en fonction de critères clés. Vous pouvez évaluer les modèles de fondation dans SageMaker JumpStart à l'aide de l'assistant d'évaluation ou tout modèle de fondation qui n'est pas hébergé sur AWS à l'aide de la bibliothèque open source.