બાળપણમાં જ પિતા નાનાલાલનું અવસાન થતાં પન્નાલાલને માંડલીમાં પધારેલા જય શંકરાનંદ બાપજી મેઘરજના રામજી મંદિરમાં રહેવા લઈ ગયા.