Sein christlicher Glaube verbot es ihm, sich am Attentat auf Hitler zu beteiligen. Dennoch wurde er nach dem 20. Juli 1944 als Mitwisser verhaftet und kam am 11. August 1944 zusammen mit den Widerstandskämpfern Heinrich Graf zu Dohna und Ferdinand Freiherr von Lüninck in das Militärgefängnis Berlin-Moabit. Von dort aus wurde von Rabenau am 13. Januar 1945 in das KZ Sachsenhausen und anschließend in das KZ nach Buchenwald gebracht, wo er den General der Infanterie Alexander Freiherr von Falkenhausen, den ehemaligen Staatssekretär Hermann Pünder und den evangelischen Pfarrer Dietrich Bonhoeffer, mit dem er die Zelle teilte, traf. Am 14. oder 15. April 1945 wurde Friedrich von Rabenau als einer der letzten Insassen im KZ Flossenbürg auf ausdrücklichen Befehl Heinrich Himmlers ermordet, ohne dass jemals ein Verfahren gegen ihn eröffnet oder auch nur Anklage gegen ihn erhoben worden wäre. Sein Todesdatum geht ziemlich exakt aus einem abgefangenen Funktelegramm an die SS-Gruppenführer Richard Glücks und Heinrich Müller hervor, das von SS-Sturmbannführer Kurt Stawizki am 15. April um 8:03 Uhr aufgegeben wurde.