Jenában tanult, ahonnét egy párbaj miatt Hollandiába menekült és 1704-ben az orosz haditengerészetbe lépett. 1711-ben nagyban hozzájárult Nagy Péter cár fölszabadításához a Prut melletti veszélyes helyzetéből. 1721. szeptember 10-én Ostermann kötötte meg a nystadi békét is. Nagy Péter titkos tanácsossá és báróvá tette, I. Katalin pedig halálos ágyán utódja, II. Péter főudvarmesterévé és ennek kiskorúsága alatt kormányzótanácsossá nevezte ki. Anna Ivanovna cárnő grófi rangot adott Ostermannak és rábízta a külügyminisztérium vezetését, Anna Leopoldovna régensnő pedig főadmirálissá tette. De Erzsébet cárnő trónra lépte után, 1741-ben elfogták, halálra ítélték és csak 1742. január 27-én a vérpadon kegyelmeztek meg neki és életfogytiglan száműzték Szibériába. Gyermektelenül meghalt fiai adoptálták nővérük, Tolsztoj tábornok nejének unokáját, aki az Oszterman-Tolsztoj nevet vette föl.