એવું કહેવાય છે કે ભગવાન શ્રી કૃષ્ણએ તેમના જીવનકાળમાં હર્ષદ માતાની પૂજા કરી હતી અને સ્વયં ભગવાન શ્રી કૃષ્ણે જ આ મંદિર બનાવડાવ્યું હોવાનું મનાય છે.