С вступлением на престол Анны Иоанновны, наградившей Остермана графским достоинством (1730), для него открывается обширнейшее поприще деятельности. Будучи главным и единственным вершителем дел внешних, он являлся для Бирона и лучшим советником во всех серьёзных делах по внутреннему управлению. По мысли Остермана был учреждён кабинет министров, в котором вся инициатива принадлежала ему и его мнения почти всегда одерживали верх, так что Остерману всецело следует приписать тогдашние действия кабинета: сокращение дворянской службы, уменьшение податей, меры к развитию торговли, промышленности и грамотности, улучшение судебной и финансовой частей и многое другое. Им же были улажены вопросы голштинский и персидский и заключены торговые договоры с Англией и Голландией. Он был против разорительной войны с турками, закончившейся заключённым им Белградским миром.