મંદિર વિષે કહેવામાં આવે છે કે નરકાસુરના અત્યાચારોથી કામાખ્યાના દર્શનમાં વિઘ્ન આવવા લાગ્યા.