Hans kristne tro ledet ham tidlig til å bli med i motstanden mot nazismen. Rabenau var i den tyske Johannesordenen. Som en protestantisk kristen og general bad han Reichsführer SS Heinrich Himmler om tillatelse til å få ta over Abbediet Maria Laach som var blitt beslaglagt av nazistene fra den katolske kirkes kardinal Graf von Galen i Münster. Rabenau sluttet seg til en motstandsgruppe, selv om han bare fungere som en kanal mellom generaloberst Ludwig Beck og Carl Friedrich Goerdeler som han kjente fra sin tid som en («Avdelingskommandør») i Königsberg (nå Kaliningrad).