তিনি বাল্যাবধি ঈশ্বরে বিশ্বাসী ও ধর্মানুরাগী ছিলেন। শাস্ত্রীয় পুস্তকাদীর চর্চা ও সাধু সন্ন্যাসীর সংস্পর্শে এসে তিনি শাক্ত, শৈব, বৈষ্ণব ইত্যদি নানা মত ও পথের সঙ্গে পিরিচিত হন। কবির সংসারজীবন সম্পর্কে খুব বেশি তথ্য পাওয়া যায় নি। শুধু জানা যায়, রাধারমণ-গুণময় দেবীর ৪ ছেলে ছিল। তাঁদের নাম- রাজবিহারী দত্ত, নদীয়াবিহারী দত্ত, রসিকবিহারী দত্ত ও বিপিনবিহারী দত্ত। কিন্তু দুঃখের বিষয় একমাত্র পুত্র বিপিনবিহারী দত্ত ছাড়া বাকি ৩ পুত্র এবং স্ত্রী গুণময় দেবী অকালে মারা যান। স্ত্রী ও পুত্রদের পরলোক গমনে কবি রাধারমণ দত্ত সংসারজীবন সম্পর্কে উদাসীন হয়ে পড়েন। ১২৯০ বঙ্গাব্দে ৫০ বছর বয়সে কবি চলে যান মৌলভীবাজার জেলাধীন ঢেউপাশা গ্রামে সাধক রঘুনাথ ভট্টাচার্যের কাছে। তিনি তাঁর কাছে শিষ্যত্ব লাভ করেন। শুরু হয় কবির বৈরাগ্য জীবন। আরম্ভ করেন সাধনা। গৃহত্যাগ করে জগন্নাথপুর উপজেলার নলুয়ার হাওরের পাশে একটি আশ্রম তৈরি করেন। এখানে চলে তাঁর সাধন-ভজন। কবি নিজেই গেয়েছেন ঃ