Muchtar Jahja
yang waktu itu menjabat Direktur A.M.S. Muhammadiyah. Ia sempat pula berkenalan dengan Prof. Dr. Purbotjaroko, dr. A. K. Gani, Mr. Sartono, Sanusi Pane, Mr. Moh. Yamin, dll. Adapun ketika berada di Yogyakarta, ia berkenalan dengan Ki Hadjar Dewantara dan mendengar penjelasan-penjelasan tentang pendidikan di Taman Siswa, juga sempat berkenalan dan berdiskusi dengan tokoh-tokoh Muhammadiyah, dan
mengadakan ceramah-ceramah di hadapan tokoh-tokoh dan para pelajar Muhammadiyah. Dari kunjungan ke Jawa dan perkenalan, diskusi dan wawancara dengan pemimpin-peminpin Indonesia, ia banyak mendapat wawasan dan pengalaman tentang perkembangan pendidikan dan pergerakan nasional di tanah air yang sudah ia tinggalkan dalam masa sepuluh tahun lamanya. Akhirnya, setelah kembali ke Padang, diadakan
pertemuan yang dihadiri oleh masyarakat Padang, di dalamnya ia memaparkan kesan-kesan kunjungan ke Jawa.
Pada zaman Hindia Belanda, ia diangkat oleh Pengurus Islamic College Padang, menjadi guru pada perguruan tersebut, kemudian menjadi direkturnya. Selama mengajar dan memimpin Islamic College, ia aktif mengadakan moderenisasi sekolah-sekolah agama. Bersama-sama dengan ustadz Mahmud Yunus dan kawan-kawan yang lain, ia menyusun rancangan pelajaran buat sekolah-sekolah agama, sejak dari
tingkat Awwaliyah sampai tingkat Sekolah Tinggi Islam, yang kemudian pada tahun 1936, rancangan pelajaran ini dapat disetujui dalam muktamar yang diadakan di Padang Panjang untuk dijalankan pada madrasah-madrasah di Minangkabau dan dibentuklah suatu organisasi dengan nama "Ishlahul Madaris Al Islamiyah (I.M.I)".
Tahun 1940 ustadz Mukhtar Yahya pindah ke Normal Islam Padang, suatu sekolah yang setingkat dengan Islamic College, didirikan oleh Persatuan Guru-guru Agama Islam (PGAI) untuk membantu mendirikan Sekolah-sekolah Islam Tinggi oleh PGAI tersebut, sampai berdiri, dan ia diangkat sebagai Wakil Rektor; sementara Rektornya adalah ustadz H. Mahmud Yunus. Perguruan tinggi ini merupakan perguruan
tinggi yang pertama di Minangkabau dan bahkan di seluruh Indonesia di zaman kolonial Belanda.. Sekolah Islam Tinggi ini dibuka resmi pada tanggal 9 Desember 1940, terdiri atas dua fakultas, yaitu:Untuk menyusun kurikulumnya dibentuk satu panitia yang terdiri dari:
Akan tetapi setelah Jepang masuk ke Indonesia pada bulan Maret 1942, pada zaman pendudukan Jepang tersebut pada mulanya banyak sekolah-sekolah yang di tutup, termasuk Sekolah Tinggi Islam tersebut. Maka ketika itu ia hanya banyak berdakwah (bertabligh) dengan materi dakwah yang dititikberatkan pada ajaran tauhid. Kemudian setelah Islamic College dibuka kembali, iapun kembali ke Islamic College dan diangkat sebagai
direkturnya kembali. Karena itu Ustadz Mukhtar Yahya melanjutkan kariernya sebagai direktur Islamic College sampai dengan tahun 1946.
Setelah Indonesia merdeka, maka sejak tahun 1946 sampai tahun 1951, pak Mukhtar Yahya meninggalkan kariernya sebagai Guru, Ustadz dan Pemimpin Sekolah. Ia diangkat oleh Gubernur Sumatera sebagai Kepala Jawatan Agama Provinsi Sumatera. Meski ia telah bertahun-tahun menjadi ustadz (guru), dan dalam pikirannya pun berkeinginan terus-menerus menjadi ustadz,
tetapi oleh Pemerintah Republik Indonesia ia diangkat menjadi Kepala Jawatan Agama (sekarang Kepala Kantor Wilayah Departemen Agama) Provinsi Sumatera (waktu itu Sumatera hanya merupakan satu provinsi). Ustadz Mukhtar Yahya terpaksa mengubah haluan. Karena itu ustadz Mukhtar Yahya pindah ke ibukota provinsi, Medan. Pada waktu Perang Agresi I pada tanggal 21 Juli 1947, NICA
menyerbu Indonesia dalam rangka merebut Indonesia dan melanggar Perjanjian Linggarjati pada tanggal 25 Maret 1947. Karena itu ibukota provinsi dipindahkan ke Pematang Siantar, dan ustadz pun pindah kesana. Pematang Siantar pun diserbu oleh Belanda, ibukota pun pindah ke Bukittinggi, dan ustadz pun pindah ke Bukittinggi.. Pada tahun 1947 itu pula ustadz Mukhtar Yahya diangkat sebagai anggota KNIP (Komite Nasional Indonesia Pusat).
Provinsi Sumatera kemudian dibagi menjadi tiga provinsi, dan setiap provinsi mempunyai Jawatan Agama (Kantor Wilayah Agama). Ustadz Mukhtar Yahya diangkat menjadi koordinator Jawatan Agama seluruh Sumatera. Jabatan koordinator kemudian dihapus pada tahun 1950, dan ustadz dipindahkan ke Yogyakarta dengan pangkat administratur. Akan tetapi pada akhir tahun itu pula
ia diinstruksikan pergi ke Medan untuk membentuk Negara Kesatuan di Sumatera Timur. Dalam hal ini ia bertindak sebagai pejabat Jawatan Agama Sumatera Timur dan lalu sebagai Penghubung Kementerian Agama.Demikianlah karier ia di Sumatera selama lebih kurang lima belas tahun (1936-1950). Masa ini dibagi pula menjadi dua periode. Pertama, sebagai pendidik dari tahun 1935-1946 dan kedua sebagai pegawai Kementerian Agama RI dari tahun 1947-1950.
Setelah Jepang kalah dalam Perang Dunia II pada bulan Agustus 1945, dan sebelum Belanda sempat menginjakkan kakinya kembali di Indonesia, maka pada tanggal 17 Agustus 1945 Indonesia memproklamasikan kemerdekaannya. Karena proklamasi itu tidak diakui oleh Belanda serta sekutunya (Amerika Serikat dan Inggris), maka terjadilah revolusi fisik melawan Belanda beserta sekutu-sekutunya itu. Jakarta
dengan mudah dapat diduduki. Karena itu pusat pemerintahan dipindahkan ke Yogyakarta sampai tahun 1949. Baru setelah perjanjian Konferensi Meja Bundar (KMB) 27 Desember 1949 di Den Haag, Belanda baru mengakui kemerdekaan Indonesia, minus Irian Barat (Irian Jaya). Maka sebagai penghormatan atas jasa-jasanya itu, kota Yogyakarta ini dijadikan sebagai kota pendidikan/universitas. Karena itu didirikanlah
Universitas Negeri Gadjah Mada yang diatur dengan Peraturan Pemerintah Nomor 37 tahun 1950. Adapun untuk golongan umat Islam diberi pula sebuah Pendidikan Tinggi Agama Islam. Cikal bakal perguruan tinggi ini berasal dari Universitas Islam Indonesia yang mulanya bernama Sekolah Tinggi Islam (STI).
Fakultas Agama tersebut di ataslah yang kemudian dinegerikan menjadi Perguruan Tinggi Agama Islam Negeri (PTAIN). Penegerian itu diatur dengan Peraturan Pemerintah Nomor 34 Tahun 1950. Tujuan didirikannya PTAIN seperti yang dikatakan Mr. Wasil Aziz adalah: "Untuk memberikan pengajaran tinggi dan menjadi pusat memperkembangkan dan memperdalam ilmu pengetahuan tentang Agama Islam. Untuk tujuan
tersebut diletakkan azaz untuk membentuk manusia susila dan cakap serta mempunyai keinsyafan ber-tanggungjawab tentang kesejahteraan masyarakat Indonesia dan dunia umumnya atas dasar Pancasila, kebudayaan, kebangsaan dan kenyataan". Sebagai Ketua Fakulteit (Dekan Fakultas) PTAIN kemudian diusulkan K.H. Muhammad Adnan, disamping sebagai dosen. Ia diusulkan sebagai dekan, sebab
ialah satu-satunya orang Islam yang tinggi jabatannya, yaitu sebagai Ketua Mahkamah Islam Tinggi yang berkedudukan di Solo. Mr. Sunaryo sebagai sekretaris mahkamah itu, karena itu ia diangkat menjadi sekretaris PTAIN.
Seperti dikatakan di muka, ustadz Mukhtar Yahya ikut membidani kelahiran PTAIN di Yogyakarta, yaitu dengan keluarnya Peraturan Pemerintah no.34/1950 pada tanggal 14 Agustus 1950. Selain dari itu, ia pun ikut aktif menjadi tenaga pengajar di PTAIN yang baru lahir itu. Dalam rentang waktu yang cukup lama, ada beberapa hal yang menonjol yang dicapainya dalam bidang
ilmu pengetahuan dan karier. Pada tahun 1955 ia diangkat menjadi Sekretaris Fakultas PTAIN menggantikan Mr. Sunaryo yang diangkat menjadi Menteri Dalam Negeri.
Pada tahun 1956 ia diangkat menjadi Guru Besar bidang Ilmu Tafsir. Ia adalah Guru Besar Ilmu Tafsir yang pertama di seluruh Indonesia. Bahkan ia merupakan Guru Besar pertama di bidang Agama Islam secara umum. Guru Besar Ilmu Tafsir lain, baru pada tahun 1980-an ada di IAIN Sunan Ampel Surabaya, yaitu yang diraih Prof. Dr. Abdul Djalal Sebelumnya ia telah dipromosikan di IAIN