જ્યારે બૌદ્ધ ધર્મનો પ્રભાવ વધ્યો ત્યારે તેમણે આને બુદ્ધની મૂર્તિ માનીને પૂજા કરવાનું શરૂ કર્યું. કહેવામાં આવે છે કે, શંકરાચાર્યની પ્રચાર યાત્રા વખતે બૌદ્ધ લોકો તિબેટ ભાગી ગયા અને ત્યારે મૂર્તિને અલકનંદામાં ફેંકતા ગયા. ત્યારે શંકરાયાર્યે મૂર્તિને નદીમાંથી બહાર કાઢીને ફરી એકવાર તેની સ્થાપના કરી. એવું પણ કહેવામાં આવે છે કે, ત્યારબાદ મૂર્તિ ફરી એકવાર સ્થાનાંતરિત થઈ ગઈ અને રામાનુજાચાર્યે તેને તપ્તકુંડમાંથી કાઢીને ફરી સ્થાપના કરી.