ત્યારબાદ 1196ની સાલમાં જ્યારે દિલ્લી સલ્તનતે ગુજરાતનો કબજો કર્યો ત્યારે અલાઉદી્ન ખીલજીના સેનાપતિ અફઞલખાંએ આ મંદિરનો વિનાશ કર્યો હતો.