হাসন রাজার পূর্বপুরুষেরা হিন্দু ছিলেন। তাঁদেরই একজন বীরেন্দ্রচন্দ্র সিংহদেব মতান্তরে বাবু রায় চৌধুরী ইসলাম ধর্ম গ্রহণ করেন।[৩] হাসন রাজার পুর্বপুরুষের অধিবাস ছিল অয্যোধ্যায়। সিলেটে আসার আগে তাঁরা দক্ষিণবঙ্গের যশোর জেলার অধিবাসী ছিলেন।