Som eneste barn har han tilskrevet sitt forfatterskap til «en tomhet i min barndom som jeg fylte opp med fantasier». For 9,50 dollar i uken gikk Walter Mosley på Victory baptistskole, en privat afroamerikansk grunnskole som holdt nyskapende undervisning i svart historie. Da han var 12 år gammel flyttet foreldrene fra South Central til et mer komfortabelt område i arbeiderklassestrøket vest for Los Angeles. Mosley beskriver sin far som en dypsindig tenker og historieforteller, en «svart Sokrates», og selv om hans mor ikke var overstrømmende, inspirerte hun ham i redskapene til å skrive, fylte hans verden med europeiske klassiskere fra Charles Dickens og Émile Zola til Albert Camus. Han likte også godt å lese Langston Hughes og Gabriel García Márquez. Han ble hovedsakelig oppfostret i en lite politisk familiekultur, til tross for at det var store etniske konflikter i Los Angeles på den tiden. Han kom senere til å bli mer politisk orientert og frittalende om de etniske ulikhetene i USA, noe som er konteksten i mange av hans skjønnlitterære bøker.