સમય જતાં દેશમાં વિદેશી આક્રમણો થતાં ગયાં, કુદરતી અને માનવસર્જિત આપત્તિ આવતી ગઈ તેમ મંદિરના બાંધકામને પણ અસર પડવા લાગી.