Pietari Suuren kuoltua vuonna 1725 Venäjän hallitsijaksi tuli Katariina I, joka nimitti Ostermanin varakansleriksi ja antoi hänen vastuulleen kruununprinssi Pietarin kasvatuksen. Ostermanista tuli myös hallitusasioista vastanneen salaneuvoston jäsen, valtakunnan postilaitoksen johtaja ja kauppakomission puheenjohtaja. Käytännössä hän sai ulkopolitiikan johtoaseman ja vahvan otteen myös talousasioissa. Katariinan tahdosta Osterman johti holhoojahallitusta vuosina 1727–1730 hallitsijana toimineen Pietari II:n alaikäisyyden aikana. Dolgorukovin suvun edustajat onnistuivat työntämään hänet hetkeksi syrjään, eikä hän osallistunut vuonna 1730 kuolleen Pietarin seuraajan valintaan. Osterman kuitenkin auttoi uudeksi hallitsijaksi valittua keisarinna Annaa saavuttamaan yksinvaltaisen aseman, ja palkkiona Anna nimitti hänet 1731 johtavaksi ministerikseen ja antoi hänelle kruunajaistensa yhteydessä kreivin arvon. Annan hallitsijakautena 1730–1740 Osterman johti edelleen Venäjän ulkopolitiikkaa. Tuona aikana Venäjä liittoutui Itävallan kanssa, osallistui 1733–1738 Puolan perimyssotaan ja kävi samanaikaisesti 1735–1739 sodan Ottomaanien valtakuntaa vastaan. Viimeksi mainittu sota ei tuonut Venäjälle kovin laajoja valloituksia lukuun ottamatta maa-aluetta Bugin ja Donetsin välillä. Lisäksi Venäjä joutui 1732 luovuttamaan joitain alueita takaisin Persialle.