カール・ルートヴィヒ・フォン・エスターライヒ
そのため、カール・ルートヴィヒは1861年2月に総督を辞任し、その後は芸術と科学のパトロンとして、これらの世界に没頭していった。
1889年に甥ルドルフ皇太子が情死すると(マイヤーリンク事件(英語版))、兄フランツ・ヨーゼフ1世の推定相続人に選ばれるが、その際に「カール・ルートヴィヒは長男フランツ・フェルディナントに推定相続人の地位を譲った」という誤報が流れた。
1896年にパレスチナ、エジプトに旅行に出かけるが、旅行中にヨルダンで不衛生な水を飲んで腸チフスに感染し、帰国後の5月19日にシェーンブルン宮殿で死去した。遺骨はウィーンのカプツィーナー納骨堂(カイザーグルフト)に納められている。カール・ルートヴィヒの死後に長男フランツ・フェルディナントが新たな推定相続人に選ばれるが、彼は1914年にサラエボ事件で暗殺され、第一次世界大戦のきっかけになってしまう。