ઘણી માન્યતાઓમાં એ પણ છે કે બાબા વિશ્વનાથના આ શહેરમાં રહેવા માટે બાબા કાલ ભૈરવની પરવાનગી લેવી ખુબ જ જરૂરી હોય છે.