ইতিহাস থেকে জানা যায় যে রাজা রামপাল গৌড় রাজ্য পুনরুদ্ধারের পর রামাবতী নগরে রাজধানী স্থাপন করেন। আইন-ই-আকবর রচয়িতা আবুল ফজল এ স্থানটিকে রমৌতি বলে উল্লেখ করেছেন। প্রাচীন বাংলার ধর্মমঙ্গল কাব্যগুলিতে রামাবতীর উল্লেখ আছে। রাজা রামপালের পুত্র মদনপালের তাম্র শাসনেও রামাবতী নগরীর উল্লেখ আছে। দীনেশ চন্দ্র সেন বলেছেন যে, এই রামাবতী নগরে রাজা রামপাল জগদ্দল মহাবিহারের প্রতিষ্ঠা করেন। ঐতিহাসিক রামপ্রাণগুপ্ত জগদ্দল বিহার দিনাজপুরে অবস্থিত বলে উল্লেখ করেছেন। রামপ্রাণগুপ্তের জগদ্দল বিহার যে নওগাঁ জেলার আলোচ্য বিহার তা সহজেই অনুমান করা যায়। কারণ পূর্বে এ জেলা দিনাজপুর জেলার অংশ ছিল। একাদশ বা দ্বাদশ শতাব্দীতে রাজা রামপাল এই মন্দির নির্মাণ করেন বলে নীহাররঞ্জন রায়ের বাঙ্গালীর ইতিহাস গ্রন্থে উল্লেখ আছে। এ গ্রন্থে আরও উল্লেখ আছে যে এ মন্দিরের অধিষ্ঠাতা দেবতা ছিলেন অবলোকিতেশ্বর, আর অধিষ্ঠাত্রী দেবী ছিলেন মহাতারা।