Aber auch hier gelang es ihm nicht, die Verstimmungen zwischen Österreich und Sachsen auszugleichen, und 1778, beim Ausbruch des bayrischen Erbfolgekrieges, in dem sich Sachsen an die Seite Preußens stellte, erhielt er den Befehl, zu seinem Hof zurückzukehren. Seine "Equipage" war beim Dresdner Bankier Christian Friedrich von Gregory hinterlassen worden, und er musste ihre Aushändigung schriftlich beim Minister des Auswärtigen, Graf Heinrich Gottlieb von Stutterheim, beantragen, zusammen mit den Reisepässen für sich und seine "Suite". Danach ruhten die diplomatischen Beziehungen zwischen Sachsen und Österreich bis 1780.