I oppveksten i Alexandria i Virginia inspirerte Marlon Brando og andre filmstjerner ham til å oppføre seg macho. På high school var han middelmådig faglig sett, fattig, men likevel populær og stjerne på skolens basketballag. Etter high scool fortsatte han utdannelsen på et marine-akademi og Hampden-Sydney College, men avsluttet ingen av studiene. Kort tid etter at han hadde avsluttet skolegangen giftet han seg med den som ble den første av hans fire koner, Susan Adams som kom fra en velstående familie. Sammen fikk de sønnen Jeffrey og datteren (Laura) Mackenzie Phillips. Datteren ble senere kjent for rollen hun spilte i filmen .