У 1936 році Ергардт переїхав до Австрії, де займався сільським господарством і купив замок Брунн на Дунаї, відійшов від політики і пізніше переслідуванням не піддавався. Після замаху на Гітлера 20 липня 1944 року Ерхардт, як людина з оточення Вільгельма Канаріса, був тимчасово заарештований. У 1948 році Ергардт став австрійським громадянином.