Han var den siste i den spanske gren av habsburgerslekten, fysisk handikappet, mentalt tilbakestående og vansiret (delvis grunnet mandibulær prognati, dvs. fremskutte kjever og fortenner). Det er også mulig at han led av bensykdommen akromegali. Karl var svak i sinn og kropp, og kunne knapt gå eller snakke. Hans tilstand skyldtes sannsynligvis den århundrelange innavlen innenfor Huset Habsburg. Allerede keiser Maximilian I (1459–1519) hadde tegn på den såkalte «habsburgerkjeven», et underbitt som økte i omfang i slektsledd etter slektsledd. Han nedstammet fjorten ganger fra Johanna den vanvittige.