বাউল করিম ৩৮ বছর বয়সে সুনামগঞ্জ সদর উপজেলার পাথারিয়া ইউনিয়নের আশাসুরা গ্রামের আবদুর রহমানের মেয়ে সরলা খাতুনকে বিয়ে করেন। ১৩৯৬ বাংলায় সরলা খাতুন একমাত্র ছেলে শাহ নূরজালাল ও বাউল করিমকে রেখেই মারা যান। বাউল করিমের সুযোগ্য উত্তরসূরি তার পুত্র নূরজালালও বাবার শেখানো পথ ধরেই হেঁটে চলছেন।