Bagaimana cara kerja evaluasi manusia?
Amazon Bedrock memungkinkan Anda mengatur alur kerja tinjauan manusia dengan beberapa langkah dan menghadirkan karyawan internal Anda, atau menggunakan tim pakar yang dikelola AWS, untuk mengevaluasi model. Melalui antarmuka intuitif Amazon Bedrock, manusia dapat meninjau dan memberikan umpan balik terhadap respons model dengan mengklik jempol ke atas atau bawah, memberi peringkat pada skala 1-5, memilih yang terbaik dari beberapa respons, atau memberi peringkat perintah. Misalnya, anggota tim dapat diperlihatkan bagaimana dua model merespons perintah yang sama, lalu diminta untuk memilih model yang memperlihatkan output yang lebih akurat, relevan, atau bergaya. Anda dapat menentukan kriteria evaluasi yang penting bagi Anda, dengan menyesuaikan instruksi dan tombol agar muncul di UI evaluasi untuk tim Anda. Anda juga dapat memberikan instruksi terperinci dengan contoh dan sasaran evaluasi model secara keseluruhan, sehingga pengguna dapat menyelaraskan pekerjaannya. Metode ini berguna untuk mengevaluasi kriteria subjektif yang memerlukan penilaian manusia, atau keahlian bidang studi yang lebih bernuansa, dan yang tidak dapat dengan mudah dinilai dengan evaluasi otomatis.