માન્યતા છે કે, ઉજ્જૈનના રાજા વિક્રમાદિત્યના સમયમાં તેમનો ભાણિયો વિજયસિંહ અહીં શાસન કરતો હતો. વિજયસિંહ રોજ સ્નાન કર્યા પછી પોતાના ઘોડા પર બેસીને ઉજ્જૈનમાં હરસિદ્ધિ માતાના મંદિરમાં દર્શન કરવામાં જતા હતા. એક દિવસ માં હરસિદ્ધિએ રાજાને સપનામાં દર્શન આપ્યા અને રાજાને બીજાનગરીમાં મંદિર બનાવવા માટે અને તે મંદિરના દરવાજા પૂર્વ દિશામાં રાખવા માટે કહ્યું. રાજા એવુ કર્યું પણ ખરા.