I 1734 utnevnte keiserinne Anna I ham til leder av utenriksministeriet. Da Ivan VI i 1740 ble Annas etterfølger, ble Ostermann dessuten storadmiral.