Jabarkan Pengajaran dari Khatib Ali

Di Parak Gadang Syekh Khatib Ali mendirikan surau. Pada tahun 1923 ia mendirikan Madrasah Irsyadiyah, sebuah sekolah yang didirikannya setelah mengunjungi Madrasah Al-Irsyadiyah Asy-Syurkati di Jakarta.

Lima tahun kemudian, tepatnya pada 5 Mei 1928, ia bersama-sama para ulama Kaum Tua seperti Syekh Sulaiman Ar-Rasuli, Syekh Muhammad Jamil Jaho, Syekh Abdul Wahid Tabek Gadang membentuk organisasi yang bergerak di bidang pendidikan, bertempat di Candung, Agam (ketika itu masuk wilayah Bukittinggi). Organisasi ini di kemudian hari bernama Persatuan Tarbiyah Islamiyah (Perti).