પુરાણોમાં આ મંદિર વિશે એવું લખ્યું છે કે બ્રહ્મદેવ અને સરસ્વતી દેવીએ પુષ્કર સરોવર પાસે એક યજ્ઞનું આયોજન કર્યું હતું જેમાં સરસ્વતી દેવી મોડા પડ્યા હતા. આથી બ્રહ્મદેવે ગાયત્રી દેવી સાથે લગ્ન કરી લીધા અને આ કારણે સરસ્વતી દેવીએ એ મંદિરને શ્રાપ આપ્યો કે કોઈ પણ પરિણીત પુરુષ આ મંદિર માં નહિ આવી શકે અને જો કોઈ પુરુષ આવી હિમ્મત કરશે તો તેના લગ્ન જીવનમાં મુશ્કેલીઓ આવશે.