22年于东京府东京市浅草区田中町（今东京都台东区日本堤一、二丁目附近）作为长子出生。翌年因关东大地震田中町一带被烧毁，之后随父母移居故乡新潟县新潟市（现今中央区）白山。两年后三岁时因重度消化不良曾一度处于生命危险，虽然保留住了生命，但患上轻度言语障碍、智能障碍的后遗症。山下清一家于1926年返回浅草区生活。父亲大桥清治因脑出血于1932年去世，之后母亲再婚。曾因在小学（石浜小学）时被霸凌而被继父教唆「去用刀反击对方」，在受到霸凌时使用削铅笔的小刀对同级生的欺凌者造成了重伤。
少年