Jabarkan Kehidupan keluarga dari Abuya Muda Waly

Dari hari ke hari, namanya semakin terkenal hingga pada suatu ketika salah seorang ulama besar, Syekh Haji Khatib Ali, tertarik dan menjodohkannya dengan salah seorang keluarganya, Rasimah. Dari pernikahan ini lahir 11 orang anak: Muhibuddin Waly, Halimah Waly, Jamaluddin Waly, Muhammad Waly(meninggal waktu kecil), Nahyatuddin Waly (meninggal waktu kecil), Marhaban Waly, Nurhayati Waly(meninggal waktu kecil), Ahmad Khatib Waly (meninggal waktu kecil), Muhammad Rum Waly (meninggal waktu kecil), Burhan Waly (meninggal waktu remaja akibat terbakar mobil penumpang pulang ke Padang bersama neneknya yaitu ibu dari ummi rasimah) dan Ruslan Waly

Pernikahan ini membuat dia semakin meluaskan pergaulannya hingga dia berkenalan dengan Syekh Sulaiman Ar-Rasuli, Syekh Muhammad Jamil Jaho, dan lain-lainnya. Pada awalnya Syekh Muhammad Jamil Jaho adalah guru dari Abuya Muda Waly namun karena tertarik dengan kualitas keilmuan Abuya Muda Waly maka dia menikahkan Abuya Muda Waly dengan salah seorang putrinya, yaitu Rabi’ah Jamil sehingga lahirlah Ahmad Waly dan Mawardi Waly.

Bersama istrinya yang kedua Abuya Muda Waly berangkat ke Mekkah untuk menunaikan ibadah haji selama tiga bulan. Selama di tanah suci dia berkesempatan untuk menimba ilmu dari ulama-ulama yang mengajar di Masjidil Haram dan berinteraksi dengan ulama-ulama Mesir yang sedang menunaikan ibadah haji.

Istri ketiga dia bernama Raudhatin Nur, salah satu keponakan dari Teuku Usman Paoh yang berasal dari Labuhan Haji, Aceh Selatan. Dari istri yang ketiga ini lahirlah Zubaidah Waly dan Amran Waly yang pada kemudian hari menjadi pendiri Dayah Darul Ihsan di Desa Paoh, Labuhan Haji, Aceh Selatan.

Istri keempat dia bernama Pik Puteh yang kemudian diganti namanya menjadi Rasimah dari Manggeng, Aceh Barat Daya yang melahirkan Harun Waly, Muhammad Nasir Waly dan Abidah Waly. Perkawinan yang keempat ini atas permintaan dari keluarga ibu kandung Abuya Muda Waly agar ada pertalian dengan ahli famili.

Setelah Abuya Muda Waly bercerai dengan istri keduanya (Rabi'ah Jamil), kemudian dia menikah dengan Ummi Aisyah dari Teunom, Aceh Jaya.

Hubungan dengan Tariqat Naqsyabandiyah Al-Khalidiah

Walaupun secara keilmuan Abuya Muda Waly telah diakui oleh masyarakat dan para ulama besar Minangkabau tetapi itu belum dapat menenangkan hati dia, sehingga akhirnya dia mengambil langkah untuk memasuki jalan tasawwuf melalui Tariqat Naqsyabandiyah pada Syekh Haji Abdul Ghani Al-Kamfari di Batu Basurek, Kampar, Sumatra Barat hingga diangkat menjadi Mursyid Tariqat ini. Setelah mendapatkan ijazah tariqat, dia kembali ke Padang, Sumatra Barat dan mendirikan sebuah pesantren bernama Bustanul Muhaqqiqin di Lubuk Bagalung, Padang.

Pada tahun 1939, dia mengakhiri perjalanannya dan kembali ke Aceh Selatan. Setelah kepulangan ke kampung halaman, dia mulai merintis sebuah dayah yang diberi nama Dayah Darussalam. Dayah ini menjadi tempat dia menjalin hubungan dengan masyarakat terutama untuk mengajar di bidang pendidikan keagamaan. Di dayah ini pula pada setiap Ramadan mulai sepuluh hari sebelum sebelum Ramadan hingga hari raya Idul Fitri selalu diadakan khalwat untuk murid-murid yang telah bergabung ke dalam Tariqat Naqsyabandiyah.