અકબરના શાસનકાળ દરમ્યાન રાજા માનસિંહ દ્વારા આ મંદિર એની જગ્યાએ ફરીથી બાંધવામાં આવ્યુ પણ વારાણસીના બ્રાહ્મણોએ માનસિંહનો અને એના બંધાવેલા મંદિરનો એટલા માટે વિરોધ કર્યો કે એણે અકબર સાથે જોધાબાઈના લગ્ન કરાવ્યા હતા.