Papen ble i 1934 utnevnt til sendemann, fra 1936 ambassadør, i Østerrike. Der drev han undergraving av den østerrikske republikken med sikte på sammenslutning med Tyskland. Fra 1939 var han tysk utsending i Tyrkia stasjonert Ankara, hvor han blant annet forhandlet frem den tysk-tyrkiske vennskapsavtalen av juni 1941. Der motarbeidet han de alliertes politikk på Balkan og i Midtøsten. Han ble i Tyrkia frem til 1944 da Tyrkia brøt de diplomatiske forbindelsene med Tyskland. Nasjonalsosialistene arbeidet med planer om å drepe Papen og bruke det som påskudd for å ta kontroll over Østerrike. Papen var ikke på bølgelengde med Ribbentrop som han mente var uansvarlig ved å bidra til å drive landet mot krig.