Ladd ble født i Arkansas til en amerikansk far og en engelsk-amerikansk mor. Hans far døde da han var fire år gammel, og Alan flyttet sammen med moren sin til Oklahoma City, hvor hun giftet seg med Jim Beavers. Familien flyttet deretter igjen til North Hollywood i California der Ladd ble en svømme- og dykkemester og deltok på teaterlinja på high school. Han åpnet sin egen hamburger butikk, som han kalte Tiny's Patio.