Hitler foretok utrenskninger sammen med Rudolf Hess, Göring, SS-leder Heinrich Himmler og hans nestkommanderende Reinhard Heydrich, samt propagandaminister Joseph Goebbels, med støtte fra SS og knuste denne interne opposisjonen, og politiske motstandere i andre partier og organisasjoner i «de lange knivers natt» natten til 30. juni 1934, hvor en rekke motstandere av regimet ble drept. Også Papen ble arrestert og hans kontor ransaket, men han ble løslatt fordi nasjonalsosialistene mente han kunne være nyttig som diplomatisk trumfkort. Derimot ble hans sekretær Herbert von Bose og hans taleskriver Edgar Julius Jung, som hadde vært viktige i utformingen av Marburgtalen, myrdet av nasjonalsosialistene. Papen ble gitt avskjed som visekansler 1. juli 1934 og spilte siden ikke noen politisk rolle.