Josh White ble født i 11. februar 1914 i Greenville, Sør-Carolina, USA (noen kilder oppgir feilaktig hans fødested som Greensboro i Nord-Carolina). Området var preget av mye rasisme og overgrep mot den svarte befolkningen. Faren Dennis White var pastor i en lokal menighet. Da Josh White var syv år gammel kastet hans far en hvit pengeinnkrever ut av huset. Dette førte til at faren ble slått nesten ihjel, og deretter sperret inne på et psykiatrisk sykehus der han døde ni år senere.