આ મંદિરની સૌથી વિશેષ વાત એ છે કે અહિયાં યમરાજને પણ કાળ ભૈરવની પરવાનગી લેવી પડે છે, કાળ ભૈરવની પરવાનગી વગર કાશીની અંદર યમરાજ પણ કાંઈ નથી કરી શકતા, જો કોઈ વ્યક્તિના જીવનમાં ગ્રહોની સ્થિતિ ખરાબ ચાલી રહી છે કે પછી તેના અથાગ પ્રયાસ કરવા છતાં પણ સફળતા મળવામાં તકલીફો ઉભી થઇ રહી છે.