માનવામાં આવે છે કે શરૂઆતમાં આ મંદિર ભગવાન વિષ્ણુ માટે બનાવવામાં આવ્યું હતું, પછીથી એ બૌદ્ધ મંદિર બની ગયું હતું.