想受到征兵检查便持续流浪生活。在这个时候于我孙子站的弥生轩工作和居住以赚取生活费用，工作半年左右之后继续流浪半年反反复复5年之久。21岁时，在打工的食堂被从八幡学园来的职员强制征兵检查，但因智能障碍的理由被免除兵役。这个事迹被收录在《放浪日记》（1956年）。此时的山下在电视剧等作品被描绘成背负着背囊的形象。战后在日本有「日本的梵高」、「裸体大将」的称号。1954年，在鹿儿岛流浪中的山下说「无论是梵高还是卢梭我都完全不知道是谁。」，但是山下曾临摹过梵高的画作。同年，返回东京之后参加了在日本桥丸善开展