કહેવાય છે કાશી વિશ્વનાથનાં શિવલિંગનું રક્ષણ બ્રાહ્મણોએ વર્ષો સુધી કર્યું, પછી જયારે મરાઠાનું રાજ્ય આવ્યું ત્યારે અહિલ્યાબાઈ હોલકરે આ અત્યારનું મંદિર બનાવડાવ્યું.