Jabarkan Kembali ke Indonesia dari Abu Bakar bin Muhammad as-Segaf Gresik

Setelah 9 tahun menimba ilmu di Hadramaut, Habib Abu Bakar yang kala itu berusia 17 tahun memutuskan untuk kembali ke tanah Jawa yakni pada tahun 1302 H atau 1885 M. Ditemani Habib Alwi bin Segaf as-Segaf, Habib Abu Bakar menuju kota kelahirannya Besuki, Situbondo dan melakukan aktifitas dakwah di sana selama 3 tahun, setelah itu ia pindah ke Gresik dalam keadaan usia masih 20 tahun.

Meski telah kembali, Habib Abu Bakar tidak berhenti berguru, ia tetap belajar kepada ulama-ulama lain di Jawa seperti:

1. Habib Abdullah Bin Muhsin al-Atas (Habib Empang Bogor)

2. Habib Abdullah bin Ali al-Haddad (wafat di Jombang)

3. Habib Ahmad bin Abdullah bin Thalib al-Atas (Pekalongan)

4. Habib Al-Quthb Abubakar bin Umar Bin Yahya (Surabaya)

5. Habib Muhammad bin Idrus al-Habsyi (Surabaya)

6. Habib Muhammad bin Ahmad al-Muhdhor (wafat di Surabaya)

Saat usianya baru menginjak 20 tahun, Habib Abu Bakar muda mendapat panggilan spiritual untuk melakukan uzlah/khalwat atau aktivitas menyepi, inspirasi spiritual ini ia dapat ketika sedang khusyuk menyimak khutbah Jumat. Ia absen dari aktivitas duniawi dan hanya beribadah dalam khalwat selama hampir 15 tahun.

Adalah gurunya, Habib Muhammad bin Idrus al-Habsyi yang kemudian memerintahkannya untuk menyudahi masa khalwat, mengajaknya berkeliling mengunjungi ulama-ulama lain dan membawa Habib Abu Bakar ke kediamannya di Surabaya. Sepulangnya dari Surabaya, Habib Abu Bakar mulai membuka pengajian yang ditujukan kepada masyarakat umum di rumahnya.

Pengajian atau taklim yang dilakukannya itu dengan melakukan pembacaan kitab-kitab karya ulama salaf. Pengajian ini setidaknya telah mengkhatamkan Ihya Ulumuddin karya Imam Al-Ghazali sebanyak 40 kali dan kitab-kitab lainnya. Setiap mengkhatamkan kitab, Habib Abu Bakar selalu mengadakan jamuan makan kepada masyarakat.