Jabarkan Memimpin sekolah-sekolah Islam dari Mahmud Yunus

Tiba di kampung halamannya pada awal tahun 1931, Yunus mulai memusatkan perhatian pada peningkatan mutu sekolah-sekolah agama. Tahun-tahun pertama, ia memperbarui Madras School di Sungayang dengan menerapkan sistem klasikal sebagaimana lazimnya sekolah-sekolah pemerintah. Lewat Madras School, ia mengenalkan pembagian jenjang madrasah yang dikenal di Indonesia saat ini: madrasah Ibtidaiyah, tsanawiyah, dan aliyah. Namun, sekolah ini terpaksa ditutup pada tahun 1933, setahun setelah pemerintah Hindia Belanda mengeluarkan kebijakan pembatasan sekolah Islam atau Ordonansi Sekolah Liar.

Sejak 1932, Yunus meninggalkan Sungayang dan disibukkan dengan aktivitas mengajar. Ia memimpin sekolah Normal Islam School (NIS) atau Kulliyyatul Muallimin Al-Islamiyyaah di Padang yang didirikan PGAI pada 1 April 1931. Sekolah ini merupakan sekolah lanjutan tingkat atas yang dimaksudkan untuk mendidik calon guru; murid yang diterima di sekolah ini adalah lulusan madrasah minimal tujuh tahun. Yunus mengajarkan bahasa Arab, masukkan mata pelajaran agama Islam ke dalam kurikulum, serta menambahkan beberapa cabang pengetahuan umum seperti ilmu alam, tata buku, dan kesehatan. Sebagian buku yang dipakai untuk keperluan pengajaran adalah tulisannya sendiri yang ia susun sewaktu belajar di Mesir. NIS memiliki laboratorium fisika dan kimia satu-satunya di Sumatra Barat. Ia memimpin NIS sampai 1938 dan kelak kembali memimpin pada 1942 sampai 1946.

Keberhasilannya menerapkan metode-metode baru dalam pendidikan madrasah membuat ia dipercaya memimpin Sekolah Tinggi Islam (STI) di Padang pada 1 November 1940, didampingi Muchtar Jahja. Didirikan oleh PGAI pada 9 September 1940, STI tercatat sebagai perguruan tinggi Islam paling awal di Indonesia. Pada 9 Desember 1940, STI membuka dua fakultas: Fakultas Syariat dan Fakultas Pendidikan & Bahasa Arab. Namun, STI hanya berjalan kurang dua tahun sehingga tidak mengeluarkan alumni. Perguruan tinggi ini tutup pada 28 Januari 1942 menjelang pendudukan Jepang di Sumatra Barat.