METR

METR (akronim untuk Model Evaluation and Threat Research, diucapkan "meter"), adalah sebuah lembaga penelitian nirlaba, yang berpusat di Berkeley, California, Amerika Serikat. Lembaga ini berfokus pada evaluasi kemampuan model kecerdasan buatan dalam melaksanakan tugas jangka panjang yang bersifat otonom, yang menurut beberapa peneliti berpotensi menimbulkan risiko signifikan bagi masyarakat.

METR bekerja sama dengan berbagai perusahaan kecerdasan buatan untuk melakukan evaluasi model sebelum implementasi dan turut berkontribusi dalam pembuatan system cards, yang mencakup model-model seperti o3 dari OpenAI, o4-mini, GPT-4o dan GPT-4.5, dan model Claude Anthropic.

Direktur utama dan pendiri METR adalah Beth Barnes, yang sebelumnya merupakan peneliti pengendalian kecerdasan buatan di OpenAI . Pada tahun 2022, Barnes meninggalkan OpenAI untuk membentuk ARC Evals, divisi evaluasi dari Alignment Research Center yang didirikan oleh Paul Christiano. Pada Desember 2023, ARC Evals kemudian dipisahkan menjadi lembaga nirlaba independen berdasarkan 501(c)(3) dan berganti nama menjadi METR.

 Riset 
jmpl|Sebuah grafik menunjukkan bahwa durasi tugas yang dapat diselesaikan oleh model terkemuka dengan tingkat keberhasilan 50% meningkat dua kali lipat setiap tujuh bulan antara tahun 2019 hingga 2024. Wilayah yang diarsir pada grafik tersebut menggambarkan interval kepercayaan 95%.
METR memusatkan sebagian besar penelitian pada kemampuan sistem kecerdasan buatan untuk melakukan penelitian dan pengembangan sistem. Salah satu inisiatif utama METR adalah RE-Bench, sebuah tolak ukur yang dirancang untuk menguji apakah kecerdasan buatan dapat menyelesaikan tugas-tugas teknik penelitian (research engineering) dan mempercepat proses penelitian serta pengembangan. RE-Bench bertujuan memberikan indikator tentang sejauh mana kecerdasan buatan dapat berkontribusi dalam pembuatan dan peningkatan sistem AI, termasuk pengujian kemampuan model dalam memecahkan masalah teknis yang kompleks dan mengotomatisasi beberapa aspek riset dan pengembangan.

Pada Maret 2025, METR menerbitkan sebuah makalah yang mencatat bahwa durasi tugas-tugas rekayasa perangkat lunak yang dapat diselesaikan oleh model kecerdasan buatan terkemuka menunjukkan pertumbuhan eksponensial (doubling time) sekitar tujuh bulan antara tahun 2019 hingga 2024. Temuan ini menunjukkan peningkatan kemampuan model dalam menangani tugas yang semakin kompleks dalam jangka waktu yang relatif singkat.

 Referensi 

Kategori:Pendirian tahun 2022 di California