कुनै समयमा छिउडिपुशाकोटको रिजु पोखराबाट दुध पोखरेल थर भएका ज्योतीखर उपाध्याय नाम गरेको एक जना ब्राह्मण दैनिक रूपमा घरबाट बिहानै हिंडेर तल्लो डुङ्गेश्वरस्थित कर्णाली र लोहरेको संगममा पुगी पञ्चक्रिया तथा स्नानादी सम्पन्न गरेर त्यही नजिकैको गुफा भित्र पस्ने गर्दा रहेछन्। त्यस गुफा भित्र रहेको शिवको प्रतिकमा पूजाआजा तथा ध्यान, जप, तप, सम्पन्न गरेर पुनः आफ्नै घरमा गएर शद्ध भोजन गर्ने ति ब्राह्मणको हातमा एक्कासी अपाङ्गता देखिएछ। आफ्नो शारिरिक अवस्था कमजोर भए पनि पूजापाठमा निरन्तरता दिएका ति ब्राह्मणको करिब वि.सं. 1935 मा कर्णाली नदिको किनारामा सागर गिरी नाम गरेको एकजना साधुसँग भेट भएछ। ती ब्राह्मणले सागर गिरीसँग आफ्नो अपांगताको कारणले गर्दा शिवपूजा नियमीत गर्न सम्भव नभएकाले यस पूजालाई निरन्तर गरिदिन भनी अनुरोध गरेछन्। ती साधुले आफु मतवाली भए पनि ती ब्राह्मणको अनुरोधलाई स्वीकार गरेपछि गिरी थरका कुमार युवकले पूजा परम्परा चलाउने र दुध पोखरेल थरका ब्राह्मणहरूले मन्दिरको होम पाठादी कार्यहरू गर्ने शर्तमा गुफाभित्र रहेको शिवलिंग ल्याएर त्यस स्थानमा स्थापना गरे र आफुमा भएको दैवी शक्ति पनि सागर गिरीलाई हस्तान्त्रण गरे। त्यसपछी भक्तजन तथा राजाप्रजा मिलेर मन्दिरको संरक्षण सम्भर्द्धन हुँदै गयो। मन्दिरमा पूजा किर्तनकालागी दमाहा, नगारा तथा निसानहरू बनाइए। मन्दिरको ख्याती पनि बढ्दै गयो।