Kerajaan Kubu

Bagaimanapun juga, hubungan ini tidak disukai oleh Kerajaan Belanda, yang secara formal mereka mengendalikan Pulau Kalimantan berdasarkan kontrak perjanjian bangsa-bangsa yang ditetapkan pada tahun 1823. beberapa keluarga Al-Idrus sempat juga mengalami perubahan kesejahteraan hidup menjadi sengsara pada masa itu. Mereka ada yang meninggalkan Kalimantan demi menjauhi sikap buruk Belanda ke daerah Serawak, yang mana waktu itu menjadi daerah territorial Kerajaan Inggris Raya, demi harapan yang lebih baik akan keberhasilan dalam perdagangan. Sedangkan Keluarga Al-Idrus yang memilin bertahan di Kubu, bagaimanapun juga, tak jua mendapatkan kehidupan serta perlakuan yang lebih baik dari pemerintah Belanda.