મંદિરની શરૂઆતમાં મંદિરની ડાબી બાજુ મહિષાસુરા મંદિર નામનું નાનું મંદિર પણ બનાવવામાં આવ્યું છે, જેમાં મહિષા (ભેંસ) પિત્તળથી બનેલા કાપેલા માથાની પૂજા કરવામાં આવતી હતી.