સમયાંતરે ધર્મઝનૂની અનિષ્ટ તત્ત્વોએ કાશી પર આક્રમણો કર્યાં એમાં આ મંદિરનો ઢાંચો પણ ભાંગ્યો છે.