Før krisen i 1762 kom, hadde statsminister Bernstorff imidlertid sett seg nødt til å kalle von der Osten bort fra Russland. Han hadde lagt seg grundig ut med keiserinne Elisabeths elsker Schuvaloff og selv om han og andre som ville han til livs ikke kunne finne beviser mot ham, var mistanken om hans nære forhold til storfyrstinnen blitt så sterk, at han måtte bort. I 1761 ble han forflyttet til Warszawa. Her ble han dog ikke lengre enn til sommeren 1763, da han vendte tilbake til sin gamle plass i St. Petersburg.