इस मंदिर से जुड़ी एक और कहानी है। कहते हैं कि वैष्णव यानी विष्णु के भक्त और शैव यानी शिव के भक्त के बीच सदियों तक सर्वश्रेष्ठ होने की तनातनी जारी रही। इस तकरार को रोकने के लिए अगस्त मुनि ने इसी जगह पर तपस्या की और अपने करिश्मे से इस बहस को हमेशा के लिए खत्म कर दिया। अगस्त मुनी ने इसी जगह पर साबित किया कि विष्णु और शिव एक दूसरे के पूरक हैं। यहां पास ही में विष्णु का एक अद्भुत रूप है रघुनाथेश्वर। यानी जहां विष्णु, भगवान शंकर की पीठ पर आसन सजाए हुए हैं। यहां विष्णु जी को शंकर जी के ऊपर प्रतिष्ठा किया है, रघुनाथ स्वामी के रूप में। जो कहानियां, कई सबूतों के साथ आज भी इन पहाड़ों पर जिंदा हैं, उनके चर्चे उत्तर भारत में कम ही सुनाई देते हैं।