Jabarkan Olahraga dari Maktab Melayu Kuala Kangsar

Terdapat 3 lapangan olahraga utama di sekolah ini; lapangan di hadapan Asrama Besar yang digunakan untuk rugby, sepak bola dan kriket, lapangan hoki berhadapan Asrama Baru dan lapangan serbaguna di Blok Administrasi. Di sekolah ini juga terdapat satu-satunya gelanggang Eton Fives di Malaysia, walaupun kini tiada pelajar yang meneruskan olahraga ini.

Semua pelajar sekolah ini menjadi anggota salah satu dari 4 rumah olahraga, dimana tiap rumah olahraga berkenaan dinamakan atas pelindung asal yaitu Rumah Sulaiman, Ahmad, Mohd Shah dan Idris, dan rumah-rumah olahraga ini diwakili oleh warna merah, hitam, kuning dan putih mengikut turutan tersebut. Sepanjang tahun bersekolah, rumah-rumah ini bertanding dalam pelbagai aktivitas olahraga, di mana pertandingan ini mencapai puncaknya pada Hari Olahraga yang diadakan setiap tahun.

Kolej Melayu memegang reputasi yang tinggi dalam bidang olahraga sekolan negara. Sejak tahun 1960, sekolah ini mengadakan pertandingan rugby tahunan dengan Kolej Vajiravudh, sebuah sekolah elite di Thailand. Perlawanan ini diadakan di Bangkok pada tahun genap dan di Kuala Kangsar pada tahun ganjil. Selain daripada ini, sekolah ini juga mengadakan kejuaraan olahraga tahunan bersama Maktab Tentera DiRaja, di mana kedua sekolah ini bergilir menjadi tuan rumah kejuaraan tersebut.