સોળમી સદીના પ્રારંભમાં સિકંદર લોદીના રાજ્યકાળ દરમિયાન એ મંદિરનો પણ ધ્વંશ કરવામાં આવ્યો.