Carradine ble oppdratt hovedsakelig av sin stemor, fars hans tredje kone, Doris Grimshaw, og han trodde hun skulle være hans mor til han ble introdusert til Sonia Sorel på et juleselskap da han var 14 år gammel. Mens han fortsatte på videregående, bodde han sammen med sin halvbror, David, i Laurel Canyon i California.