Oswalds far, Robert Edward Lee Oswald, døde to måneder før Lee ble født. Hans mor Marguerite måtte i stor grad oppfostre Lee og hans to eldre brødre (Robert – og halvbroren John Pic., som moren hadde fra et tidligere ekteskap) alene. Lee ble sendt til fosterforeldre i 1942–43 fordi hun var for fattig til å ta ansvaret for ham. Hun er beskrevet som en dominerende og labil person. Før Lee hadde fylt 18 år hadde han bodd på 22 forskjellige steder (New Orleans, Dallas og New York) og hadde gått på 12 forskjellige skoler.