Останній правитель династії Габсбургів, Карл належав до другорядної її гілки: за прямою лінією лише його прапрадід Франц II був імператором. Батьком Карла був ерцгерцог Отто (1865-1906 роки), племінник імператора Франца Йосифа I. При народженні Карл був п'ятим у черзі на престол, причому народження нових нащадків могло б віддалити його від корони ще сильніше. Однак Франц Йосиф пережив послідовно свого єдиного сина Рудольфа (загинув 1889 року, не залишивши синів), свого брата ерцгерцога Карла Людвіга (помер 1896 рік), молодшого племінника Отто (помер 1906 року від хвороб, що стали наслідком розгульної молодості) й нарешті, старшого племінника Франца Фердинанда (убитий 1914 року у Сараєві), діти якого, народжені від морганатичного шлюбу, не мали права на престол. Після цього, одночасно з початком Першої світової війни, 27-річний ерцгерцог Карл став черговим спадкоємцем свого 84-річного двоюрідного діда.