ત્યારબાદ થોડા સમય પછી 1447 માં કાશી વિશ્વનાથ મંદિર પર સુલતાન મહમુદ શાહ દ્વારા તોડવામાં આવ્યુ હતુ અને ત્યારબાદ સન 1585 માં રાજા ટોડર્મલની સહાયથી પંડિત નારાયણ ભટ્ટે આ મંદિરનું નિર્માણ કરાવ્યુ હતુ.