कहा जाता है कि राजा विक्रमादित्य के भाई भर्तृहरि ने यहीं तपस्या करके अमर पद पाया था। भर्तृहरि की स्मृति में राजा विक्रमादित्य ने पहले पहल यह कुण्ड तथा पैड़ियाँ (सीढ़ियाँ) बनवायी थीं। इनका नाम 'हरि की पैड़ी' इसी कारण पड़ गया। यही 'हरि की पैड़ी' बोलचाल में 'हर की पौड़ी' हो गया है।