Nel 1889 l'Arciduca Rodolfo morì suicida a Mayerling e il piccolo Carlo passò al quarto posto; nel 1896 suo nonno morì e Carlo salì al terzo posto; nel 1906 la morte del padre lo rese secondo, dopo suo zio Francesco Ferdinando. Nel 1911 sposò la principessa italiana Zita di Borbone-Parma, figlia dell'ultimo Duca di Parma, Roberto, con la quale ebbe otto figli. Dal 1912 al 1914 fu a capo del 39º reggimento a Vienna.