Jabarkan Belajar di Mekkah dari Abdul Halim dari Majalengka

Setelah banyak belajar di beberapa pesantren di Indonesia, Kiai Halim memutuskan untuk pergi ke Mekkah untuk melanjutkan mendalami ilmu-ilmu keislaman. Di Mekah, Kiai Halim berguru kepada ulama-ulama besar di antaranya Syeikh Ahmad Khatib al-Minangkabawi, seorang ulama asal Indonesia yang menetap di Mekah dan menjadi ulama besar sekaligus menjadi Imam di Masjidil Haram. Selama menuntut ilmu di Mekkah, Kiai Halim banyak bergaul dengan K.H. Mas Mansur yang kelak menjadi Ketua Umum Muhammadiyah dan K.H. Abdul Wahab Hasbullah yang merupakan salah seorang pendiri Nahdlatul Ulama dan Rais Am Syuriyah (Ketua Umum Dewan Syuro) Pengurus Besar organisasi tersebut setelah Kiai Hasjim Asy'ari meninggal pada tahun 1947. Kedekatan Kiai Halim terhadap kedua orang sahabatnya yang berbeda latar belakang antara pembaharu dan tradisional inilah yang membuatnya terkenal sebagai ulama yang amat toleran.

Selain belajar langsung kepada Syeikh Ahmad Khatib al-Minangkabawi, Kiai Halim juga mempelajari kitab-kitab para ulama lainnya, seperti kitab karya Syeikh Muhammad Abduh, Syeikh Muhammad Rasyid Ridlo, dan ulama pembaharu lainnya. Selain itu Kiai Halim juga banyak membaca majalah al-Urwatul Wutsqo maupun al-Manar yang membahas tentang pemikiran kedua ulama tersebut.