1915-ben a nagy visszavonulás során kénytelen volt feladni az 1914-ben elfoglalt területek legnagyobb részét. 1916-ban az orosz főparancsnokság leváltotta, helyébe Alekszej Bruszilov, a háború valószínűleg legjobb orosz parancsnoka lépett, aki kitervelte és irányította a Bruszilov-offenzívát. Ivanov kelletlenül távozott, miután mozgósította udvari kapcsolatait, például Frederiksz udvari minisztert, és megpróbálta megakadályozni Bruszilov kinevezését. Ezután előléptették az államtanács tagjává, és nagy politikai befolyásának és hírnevének köszönhetően II. Miklós cár katonai tanácsadója lett a főhadiszálláson, terveit és javaslatait azonban Mihail Alekszejev figyelmen kívül hagyta.