Foreldrene hans skiltes mens Burnett ennå var ung, og moren kastet ham ut av hjemmet fordi han nektet å jobbe på gården. Etter å ha bodd en tid hos en onkel, rømte han som trettenåring og gikk til fots til faren.