Jabarkan Kembali ke Tanah air dari Adnan Lubis

Pada Mei 1939 ia pulang ke tanah air bersama H. Nawawy. Kedatangannya disambut oleh keluarga dengan mengadakan upacara penyambutan. Setelah sebulan kedatangannya ia menikah dengan seorang gadis bernama Rachmah binti Abd. Malik Nasution dari perkawinannya ia mendapat anak dua putri dan tujuh putra. Ketika masyarakat di sekitarnya, terutama dari Muslim India mengetahui bahwa ia adalah alumni dari Madrasah Shalatiyah Mekah dan an-Nadwah College Lucknow India, mulailah mereka berdatangan meminta agar ia sudi mengajar mereka. Ketika itu guru-guru dari luar negeri masih sangat jarang dan masalah khilafiyah sering menjadi pembicaraan. Ia dapat menjelaskan masalah khilafiyah tersebut dengan memberikan dalil-dalil yang tepat. Pada 15 Juli 1940 ia diangkat menjadi Anggota PB. Al Washliyah dan mengajar di Madrasah Muallimin dan Muallimat Al Washliyah sampai tahun 1945.Pada tahun 1946 ia turut membentuk Jawatan Agama Islam yang kemudian dipindahkan ke Tebing Tinggi. Sewaktu agresi Belanda pertama beliau mengungsi ke Binjai, kembali ke Medan lalu berangkat ke Tebing Tinggi dengan keluarganya dan di sinilah ia menjabat sebagai Sekretaris Jabatan Agama Islam Sumatra Timur. Ia turut aktif dalam Badan Pertahanan Al Washliyah yang dipimpin oleh Udin Syamsuddin. Kemudian beliau pindah ke Tanjung Balai atas permintaan H. Dahlan untuk mengajar di Perguruan Menengah Islam (PMI).

Pada Musyawarah Alim ulama Sumatra Timur tahun 1947 ia hadir atas nama perwakilan dari Guru Sekolah PMI Tanjung Balai, dan menangani bidang fatwa. Selanjutnya ketika Belanda menyerang dan menduduki Tebing Tinggi dan Tanjung Balai, Ia mengungsi ke Rantau Prapat dan ketika Rantau Prapat dimasuki tentara Belanda pada clash ke II bersama dengan Arsjad Thalib Lubis kembali ke Medan, setelah penyerahan kedaulatan ia turut aktif dalam kampanye Partai Masyumi menghadapi pemilihan umum yang pertama.