Гуттенберга установил связь с оппозиционером Иосифом Рёмером и кружком Крайсау. Однако непосредственно участия в подготовке покушения на Адольфа Гитлера 20 июля 1944 года не принимал. Через несколько дней после покушения Карл Людвиг фон унд цу Гуттенберг был арестован гестаповцами. Барон несколько месяцев содержался в заключении, а в ночь 23-24 апреля 1945 года убит в тюремной камере на Лертер-штрассе. Вместе с ним казнили Эрнста Шнеппенхорста и графа Альбрехта фон Берншторфа. Причём официального обвинения в Народной судебной палате, как это было с другими участниками заговора, не последовало. Решение о казни Гуттенберга принял лично шеф гестапо Генрих Мюллер. Исполнителем убийства стал штурбаннфюрер СС Курт Ставицки.