Hans svigerfar, Konstantin Freiherr von Neurath, avløste ham den 4. februar 1938, og da etterfulgte Mackensen Ulrich von Hassell, som fra sin stilling som Italia-ambassadør hadde rettet kritikk mot Adolf Hitlers Italia-politikk.