Jabarkan Menengah dari Muhammad Rivai Batubara dalam bahasa melayu

Pada awal tahun 1950, beliau memasuki Madrasah Musthafawiyyah di Purba Baru. Beliau diterima masuk di kelas 2 (tahun 2) kerana beliau memiliki asas pelajaran Arabiah iaitu ketika belajar di Madrasah Ihsaniah di Hutapungkut. Buku buku teks yang dipelajari adalah kitab-kitab Arab yang tidak berbaris. Beliau mengalami pengalaman belajar secara "pendekatan pondok" dan hidup berdikari dengan mengurus sendiri kehidupan remajanya iaitu masak dan mencuci kain sendiri.

Pada pertengahan tahun 1953 di tahun 5, beliau menyambung pengajiannya di Madrasah Sumatera Thawalib di Parabek, Bukittinggi, Sumatera Barat di dalam Kulliah Diyanah. Pada ketika ini Madrasah Sumatera Thawalib dipimpin oleh Abdul Muis Sutan Batungkek Ameh (menantu Syeikh Ibrahim Musa) iaitu seorang intelek dan pengarang buku-buku teks terkenal di Indonesia. Sistem pembelajaran di Sumatera Thawalib mengalami perubahan iaitu dibahagi kepada dua peringkat. Dari tahun 1 hingga tahun 4 dinamakan Sumatera Thawalib. Manakala dari tahun 5 hingga tahun 7 sistem pembelajarannya dinamakan sebagai Kulliah Diyanah. Sementara pelajaran akademik yang disebut vak-vak umum mula dimasukkan lebih intensif untuk menyesuaikan dengan perkembangan pendidikan di Indonesia selepas Indonesia mencapai kemerdekaan.

Pada pertengahan tahun 1956, beliau menamatkan pelajaran di Kulliah Diyanah dan menduduki tempat teratas. Beliau mendapat perhatian cukup besar daripada guru-guru dan pemimpin madrasah Sumatera Thawalib Parabek. Direktur (Guru Besar) waktu itu ialah Abdul Muis Sutan Batungkek Ameh yang menyarankan kepadanya supaya menyambung pelajaran ke Sekolah Menengah Ekonomi Atas (S.M.E.A.) di Padang, Sumatera Barat. Dalam peperiksaan sekolah menengah kerajaan sebelumnya, beliau mendapat keputusan yang baik juga dan melayakkannya untuk menyambung pelajaran ke sekolah tersebut. Bagaimanapun beliau tidak berminta kerana cita-citanya adalah untuk menyambung pelajaran ke Perguruan Tinggi Islam.