श्री जगन्नाथ मंदिर के पास ही महाराज प्रतापरुद्र के कुलगुरु पंडित काशी मिश्र का मकान है। यद्यपि वह काफी बड़ा है किंतु महाप्रभु उसमें एक छोटे से स्थान (जो गुफा की तरह था) में निवास करते थे, जिसे ‘गम्भीरा’ कहा जाता है। प्रभु-विरह एवं प्रेमोन्माद की अवस्था में गौरांग महाप्रभु ने अंतिम 12 वर्ष इसी गम्भीरा मंदिर में व्यतीत किये। शायद प्रभु के गम्भीर भाव से रहने के कारण भक्त इसे ‘गम्भीरा मंदिर’ के नाम से पुकारने लगे। यहीं पर चैतन्य महाप्रभु के कमण्डलु, पादुका एवं गुदड़ी भी एक बक्से में सुरक्षित रखी हैं।