Carradines barndom var vanskelig. Han sa at hans far var alkoholiker og hans mor «var en manisk depressiv paranoid schizofren person». Hans foreldre skilte lag i 1957, da han var seks år gammel. Han bodde sammen med brødrene Christopher og Robert, i tre måneder i et hjem for mishandlede barn. Carradine ble hovedsakelig oppdratt av sin mormor, og han fikk sjelden se noen av sine foreldre. Hans mor hadde heller ikke lov til å se ham.