કહે છે કે, પરમહંસદેવના જન્મ પહેલાં એમના પિતા ખુદીરામ ચટ્ટોપાધ્યાય તીર્થોની યાત્રાએ નીકળેલા.