Douglas Glenn Colvin ble født i Fort Lee i delstaten Virginia. Hans far var amerikansk offiser, og hans mor, Tony, var tysk. Som et spedbarn, flyttet familien til Berlin grunnet farens militærtjeneste. Familien kom til å flytte ofte, hvilket var tilfelle med mange familier til yrkesmilitære, og det oppgis at Dee Dee fikk en ensom barndom med få virkelige venner. Da han var tidlig i tenårene ble hans foreldre, som begge var svært glade i alkohol, skilt. Han ble boende i Berlin sammen med sin mor og søster Beverley til han var 15 år. Deretter flyttet han til bydelen Queens i New York. Han sluttet på gymnaset og begynte etter hvert å bruke LSD og heroin, og på vei til California, ble han arrestert i Indiana for væpnet ran.