Християнські переконання Рабенау не дозволяли йому брати участь у вбивстві Гітлера, однак після провалу Липневої змови він був заарештований і 11 серпня 1944 року був поміщений разом із декількома іншими членами Опору в берлінську військову в'язницю. Звідти 13 січня 1945 року Рабенау перевели в концтабір Заксенгаузен, потім — у Бухенвальд і у Флоссенбюрг, де 14 або 15 квітня він був вбитий за особистим наказом Генріха Гіммлера. Приблизна дата смерті встановлена за телеграмою, яку штурмбаннфюрер СС Курт Штавіцкі відправив Ріхарду Глюксу і Генріху Мюллеру 15 квітня о 8:03.