Foreldrar Karls voru náskyld, systkinabörn báðum megin, svo að hann átti aðeins tvo langafa og tvær langömmur og aðeins sex langa- langafa og ömmur á meðan flestir eiga 16 forfeður í þeim lið. Talið er að þessi mikla skyldleikaræktun, sem viðgekkst öldum saman meðal Habsborgara og þó einkum spænsku og portúgölsku konungsfjölskyldnanna, hafi verið orsök þeirrar fötlunar sem hann átti við að stríða en hann var vanskapaður bæði í andliti og á vöxt. Móðir hans dó skömmu eftir fæðingu hans, tæplega átján ára að aldri, og Karl óx upp við eftirlæti föður síns en fór að sýna merki um geðtruflanir á unglingsárum. Hann var hins vegar ágætlega greindur og áhugasamur um utanríkismál.