Fordi faren jobbet i forsvaret måtte familien ofte flytte, noe som gjorde det vanskelig for Denver å skaffe seg barndomsvenner. Han var et innadvendt barn, og det å alltid måtte være den nye gutten var vanskelig for ham. Han var lykkelig i Tucson i Arizona, der han sang i guttekor i to år. Men så ble faren forflyttet til Montgomery, Alabama. Dette var midt under bussboikotten i Montgomery. For Denver ble Montgomery et sted fullt av hat og mistro og han ønsket ikke å være en del av det. Senere flyttet familien til Fort Worth i Texas, hvor han avsluttet high school (tilsvarer videregående skole). Denver følte seg aldri vel på high scool i Fort Worth. I tredje klasse stjal han farens bil og stakk av til California for å besøke familievenner og skaffe seg en karriere innenfor musikk. Faren kom etter i fly og fikk hanket ham inn igjen så han fullførte videregående.