Jabarkan Masa muda dari Khatib Ali

Syekh Khatib Ali lahir di Koto Baru Muara Labuh, Sungai Pagu, Solok Selatan. Pada usia 21 tahun, ia berangkat ke Mekkah untuk memperdalam ilmu agama dan menunaikan ibadah haji.

Ia menetap selama kira-kira 6 tahun dan menuntut ilmu kepada berbagai ulama di sana. Ia kembali ke kampung halamannya di Muara Labuh hanya selama 3 tahun saja, dan ia berangkat kembali ke Mekkah. Pada kali kedua ini, Syekh Khatib Ali belajar pada antara lain Syekh Utsman Fauzi al-Khalidi Jabal Qais, Syekh Sa'udasy Mekkah, Syekh Ahmad Ridwan Madinah dan Syekh Ahmad Khatib Al-Minangkabawi. Ia banyak mendalami bidang ilmu tasawuf, tauhid, dan qira'at al-Qur’an.

Pada tahun 1905, Syekh Khatib Ali memutuskan untuk menetap di Padang, tepatnya di daerah Parak Gadang, Padang Timur.