મંદિરના પરિસરની બાજુમાં એક અધૂરો કિલ્લો પડેલો હતો જેને મહારાજ વિક્રમાદિત્યએ પૂરો કર્યો હતો અને રિવાને વિંધ્યની રાજધાની ના રૂપમાં વિકસિત કરી નાખ્યું.