1896年にパレスチナ、エジプトに旅行に出かけるが、旅行中にヨルダンで不衛生な水を飲んで腸チフスに感染し、帰国後の5月19日にシェーンブルン宮殿で死去した。遺骨はウィーンのカプツィーナー納骨堂（カイザーグルフト）に納められている。カール・ルートヴィヒの死後に長男フランツ・フェルディナントが新たな推定相続人に選ばれるが、彼は1914年にサラエボ事件で暗殺され、第一次世界大戦のきっかけになってしまう。