હિંદુ માને છે કે આ મંદિરનું નિર્માણ પાંડવોએ કર્યું હતું જ્યારે બૌદ્ધોનું માનવું છે કે પદ્મસંભવ 8મી શતાબ્દીમાં અહીં આવ્યા હતા અને આ જગ્યા પર પૂજા કરી હતી.