Jabarkan Pekalongan dari Idrus bin Salim Al-Jufri

Beliau masuk ke Indonesia dan menetap di Pekalongan untuk beberapa waktu lamanya dan menikah dengan pasangan hidupnya Syarifah Aminah binti Thalib Al-Jufri dan bersama menikmati pahit manisnya kehidupan. Ketika itu beliau berdagang kain batik tetapi tidak mendapat kemajuan karena cintanya kepada dunia pendidikan melebihi dari segala-galanya. Dari pernikahan tersebut beliau dikaruniai dua anak perempuan, Syarifah Lulu' dan Syarifah Nikmah. Syarifah Lulu' kemudian menikah dengan Sayyid Segaf bin Syekh AI-Jufri, yang salah seorang anaknya adalah Dr. H. Salim Segaf Al-Jufri, Menteri Sosial Indonesia ke-26 dan Duta Besar RI untuk Kerajaan Arab Saudi dan Kesultanan Oman Periode 2005-2009. Habib Idrus kemudian meninggalkan perdagangan dan beliau pindah ke Solo.