Seasick Steve ble født i Oakland, California i mars 1951. Hans biologiske far, Gene, var en bruktbilselger som spilte boogie-woogiepiano. Wold selv prøvde seg på piano, men ifølge ham selv var ikke fingrene hans egnet til pianospilling. Han falt heller for gitar, noe som var i orden for faren hans, som ordnet med gitartimer hos en kamerat, K.C. Douglas. Da Wold var fire år gammel skilte foreldrene seg, og han ble værende hos moren. Omtrent da han var syv år gammel giftet moren hans seg igjen. Stefaren var en veteran fra Korea-krigen som Wold har beskrevet som mishandlende. Da Wold var omkring 13 år hadde de en konfrontasjon, der stefaren til slutt kastet Wold ut av soveromsvinduet hans. Den neste dagen stjal Wold pistolen til stefaren og ventet på ham hjemme for å ta livet hans. Men han ombestemte seg og rømte heller hjemmefra. Etter dette begynte livet som en hjemløs togloffer. Som Wold selv sier det i sangen «Dog House Boogie», mente han at han kunne klare seg bedre på egen hånd.