I en tale i Marburg, kjent som Marburg-talen, tydeliggjorde Papen den konservative kritikken mot nasjonalsosialistene, særlig når det gjaldt forholdet til religion og rasepolitikken, og kritiserte voldshandlingene og innskrenkningene i borgerlige friheter. Talen gjorde Hitler rasende, og nasjonalsosialistene undertrykket omtale av den. Papen hevdet å snakke på vegne av president Hindenburg og søkte avskjed fra regjeringen i protest. Nasjonalsosialistene slo kort etter til med «de lange knivers natt» hvor en rekke motstandere av regimet, samt intern opposisjon, ble drept. Papen ble arrestert og hans kontor ransaket, men han ble løslatt fordi nasjonalsosialistene mente han kunne være nyttig som diplomatisk trumfkort. Derimot ble hans sekretær Herbert von Bose og hans taleskriver Edgar Julius Jung, som hadde vært viktige i utformingen av Marburg-talen, myrdet av nasjonalsosialistene. Papen ble gitt avskjed som visekansler 1. juli 1934 og spilte siden ikke noen politisk rolle.