કહેવાય છે કે, વિશ્વનાથના શહેર કાશીમાં રહેવા માટે બાબા કાલભૈરવની રજામંદી લેવી જરૂરી છે.