প্রাচীন রংপুরের ইতিহাস থেকে জানা যায় যে, রংপুরের মাহিগঞ্জে মান্না লাল রায় এসেছিলেন হীরা, জহরত ও স্বর্ণ ব্যবসার উদ্দেশ্যে। প্রথম দিকে তিনি বহু রকমের নামী দামী হীরা, মানিক জহরত খচিত তাজ বা টুপির ব্যবসা করেছিলেন। আর সেই তাজ বিক্রির লক্ষে এখানে হাট বসে যা এক সময়ে এসে বিরাট প্রসিদ্ধি লাভ করে এবং এই হাটকে কেন্দ্র করে এই জমিদারবাড়ীর নামকরণ করা হয় তাজহাট জমিদার বাড়ি।