Последний правитель династии Габсбург-Лотарингских, Карл принадлежал к боковой её ветви (Австрийских-Есте): по прямой линии лишь его прапрадед Франц II был императором. Отцом Карла был эрцгерцог Отто (1865—1906), племянник императора Франца Иосифа I. В момент рождения Карл был пятым в очереди на престол, причём рождение новых наследников могло бы отдалить его от короны ещё сильнее. Однако Франц Иосиф пережил последовательно своего единственного сына Рудольфа (погиб в 1889, не оставив сыновей), своего брата эрцгерцога Карла Людвига (умер в 1896), младшего племянника Отто (умер в 1906 году от болезней, ставших следствием беспутной молодости) и, наконец, старшего племянника Франца Фердинанда (убит в 1914 году в Сараево), дети которого, рождённые от морганатического брака, не имели права на престол. После этого, одновременно с началом Первой мировой войны, 27-летний эрцгерцог Карл стал очередным наследником своего 84-летнего двоюродного деда (Карл I стал родоначальником Венгерской ветви, линии Австрийских-Есте, в свою очередь являющейся ответвлением от рода Габсбург-Лотарингских).