इस मंदिर की स्थापना को लेकर ठीक-ठीक अनुमान किसी के पास मौजूद नहीं है। लेकिन, मान्यता है कि सैकड़ों वर्ष पूर्व महाकुंभ के दौरान हिमालय की ओर से आने वाले साधु संतों द्वारा यहां पर शिवलिंग की स्थापना की गई थी। लगभग 200 साल पहले इस मंदिर को स्थानीय लोगों द्वारा एक भव्य मंदिर के रूप में परिवर्तित कर दिया गया और जैसे-जैसे यहां पर असाध्य रोगों से मुक्ति की मनोकामना लेकर लोग आते रहे और उनकी मनोकामना पूर्ति रही। बाबा मुकुंदेश्वर की ख्याति चारों ओर फैलने लगी। हालांकि समय के साथ गंगाजी की दिशा काफी बदल चुकी है और अब यहां गंगा जी के स्नान के लिए लोगों को काफी दूर तक पैदल चलकर जाना पड़ता है। लोगों का विश्वास है कि जो भी गंगा स्नान के बाद गंगाजल से बाबा मुकुंदेश्वर का जलाभिषेक करता है और मन से अपने असाध्य रोग से मुक्ति की प्रार्थना करता है, उसकी मनोकामना जरूर पूरी होती है।