Ilitsjov gikk inn i det sovjetiske kommunistparti i 1925 og gikk i tjeneste i den røde hær, han studerte på V.I.Lenin Militær-Politisk Akademi inntil mai 1938 hvoretter han ble en del av ledelsen av den røde hærs etterretningstjeneste. Under Andre verdenskrig fra august 1942 til juli 1945 var han leder av GRU.