Jabarkan Pendidikan dari Abuya Muda Waly

Pendidikan keagamaan pertama sekali didapatkan dari ayahnya, selain itu dia juga belajar di Volks-School (sekarang setingkat dengan sekolah dasar). Setelah lulus dia melanjutkan ke dayah Jami'ah Al-Khairiyyah yang dipimpin oleh Tengku Muhammad Ali atau Tengku Lampisang Aceh Besar, sambil dia menyambung ke sekolah umum Vervolg-School (sekolah sambungan).

Setelah dirasakan cukup, dia diantarkan oleh orang tuanya ke Dayah Bustanul Huda di Ibu kota Kecamatan Blangpidie dibawah pimpinan Syekh Teuku Mahmud atau Abu Syekh Mud. Pada masa ini dia berkenalan dengan kitab-kitab klasik seperti I'anah Al-Thalibin, Tahrir dan Mahally dalam ilmu fikih serta Alfiyah dan Ibnu ‘Aqil dalam bahasa Arab.

Dayah Krueng Kalee yang dipimpin oleh Teungku Haji Hasan Krueng Kale adalah tujuan belajar dia selanjutnya. Dayah ini berlokasi di Banda Aceh. Tetapi waktu belajar dia di sini hanya satu hari saja karena mempertimbangkan pengajian yang diberikan oleh Teungku Hasan Krueng Kale pada masa itu telah dia kuasai ilmunya. Walaupun demikian, dia tetap menganggap Teungku Haji Hasan Krueng Kale sebagai gurunya.

Pada masa itu selain dari Dayah Krueng Kalee juga ada satu dayah lainnya yang dipimpin oleh Syekh Hasballah Indrapuri di Indrapuri, Aceh Besar. Ilmu yang menonjol dari dayah ini adalah ilmu-ilmu yang berkaitan dengan Al-Quran seperti qiraat dan tajwid. Karena suatu kejadian maka dia langsung diangkat menjadi pengajar di dayah tersebut hingga setahun lamanya.

Suatu ketika datang tawaran dari Teungku Hasan Geulumpang Payong, seorang pemuka masyarakat yang menghendaki adanya pembaharuan di kalangan para ulama Aceh, pengembangan ilmu keagamaan di Aceh dan umat Islam Aceh, untuk meningkatkan jenjang pendidikannya bahkan bila perlu hingga ke Al-Azhar, Kairo. Sebagai langkah persiapan, Teungku Hasan Geulumpang Payong mengirimkan Abuya Muda Waly ke Normal Islam School di Sumatra Barat di bawah pimpinan Prof. Mahmud Yunus. Dia belajar di sini selama tiga bulan hingga akhirnya mengundurkan diri dengan hormat. Alasan dia keluar dari Normal Islam School, diantaranya karena perbandingan ilmu yang diajarkan tidak seimbang antara ilmu agama yang terlalu sedikit, sebaliknya pelajaran umum lebih banyak. Selain itu dia juga diperintahkan untuk menyesuaikan diri dengan peraturan sekolah, diantaranya harus memakai dasi, celana panjang, dan berolah raga.

Atas saran dari Ismail Yaqub, orang Aceh yang telah lama tinggal di Sumatra Barat maka dia untuk tidak langsung pulang ke Aceh tetapi “jalan-jalan” dulu keliling Sumatra Barat. Pada suatu sore dia mampir di sebuah surau di Kampung Jao untuk sembahyang maghrib. Seperti biasanya, setelah sembahyang magrib berjamaah diadakan pengajian yang dipimpin oleh seorang ustaz. Tetapi ada beberapa bagian yang disyarahkan oleh ustaz tersebut kurang tepat sehingga dibetulkan oleh dia dan ustaz tersebut mengakui kesilapannya. Atas permintaan jamaah dan ustaz tersebut akhirnya dia setuju untuk datang ke surau itu setiap sore mengimami shalat dan mengajarkan ilmu agama.