이후 그의 가계는 몰락하여 어렵게 지냈고, 그의 회고에 의하면 '할아버지도 20세에 사망하고 아버지 마저 오래 산다는게 30세를 넘기지 못하고 사망했다.' 아버지를 여읠 때 그의 나이 10세였다. 일찍 아버지를 여의고 과부인 홀어머니 밑에서 어렵게 성장했다. 가난한 환경에서 끼니를 때우지 못하였고 밥을 굶기를 예사로 하여 몸이 병약하였다 한다. 그가 소학교에 다닐 때는 며칠 안있어 죽을 아이를 무엇하러 학교에 보내나 하고 손가락질 하는 동리 어른들이 있었다고 한다. 소학교에 다닐 때는 노래를 잘 불러서 여기 저기 뽑혀다니기도 하였다.