Karl var eldste sønn av keiser Frans Josef av Østerrikes brorsønn, erkehertug Otto av Habsburg (1865–1906) og Maria Josefa av Sachsen (1867–1944), datter av den siste saksiske kongen. Hans bestefar erkehertug Karl Ludwig var bror av keiser Frans Josef I. Han var nevø av erkehertug Franz Ferdinand av Østerrike-Este.