I sammensvergelsen som førte til Struensees fall den 17. januar 1772 hadde von der Osten ingen befatning, men hans uvilje mot den styrtede makthaver var så kjent, at han fikk sete i det statsråd som ble dannet den 13. februar 1772. Mens de som hadde hørt til Bernstorffs krets, hadde vært glade for å se von der Osten arbeide for å videreføre dennes politikk, mente de, at han hadde skyld i, at Bernstorff ikke straks ble kalt tilbake etter 17. januar, og rimeligvis faller en del av ansvaret for, at dette ikke skjedde, virkelig på ham. Men hans egne dager i den nye regjeringen var snart talte; allerede den 13. mars 1773 ble han fjernet fra sin utenriksministerstilling. Selv mente han, at han var falt som en følge av private intriger, og han tiltrodde blant andre Ove Høegh-Guldberg, at han hadde vært med heri; men hovedgrunnen var dog den, at hvor ivrig han enn i Struenseetiden hadde vært for å følge Bernstorffs politikk, hadde hans gamle motstandere i St. Petersburg dog ikke tiltro til, at Russland i lengden kunne stole på ham. Fra sin ministerplass ble von der Osten utnevnt til å være stiftamtmann i Aalborg, hvor han ble til 1781.