1024માં આ મંદિર અફઘાનિસ્તાનના સુલતા મહોમ્મદ ગઝનીએ નષ્ટ કરી નાંખ્યુ હતુ. તેણે થાર રણ પરથી આ મંદિર પર હુમલો કર્યો હતો. ત્યાર બાદ સોલંકી રાજા ભોજ અને અણહિલવાડાના ભીમદેવ 1એ આ મંદિર 1026થી 1042 વચ્ચે ફરી બનાવડાવ્યું હતું. એ સમય મંદિર લાકડાથી બનાવડાવ્યું હતું પરંતુ પાછળથી કુમારપાળ રાજાએ પથ્થરનું મંદિર બનાવડાવ્યું હતુ.