Al setembre de 1939, l'Alemanya Nazi i la Unió Soviètica van establir les seves pròpies esferes d'influència a Polònia i a l'Europa Oriental mitjançant el Pacte Mólotov-Ribbentrop. Els soviètics van detenir 26.000 oficials polonesos a la porció oriental de Polònia i, al març de 1940, després de diverses deliberacions, Stalin i alguns alts oficials soviètics, Mikoian inclòs, signà una ordre per a la seva execució. Quan Alemanya va envair la Unió Soviètica al juny de 1941, Mikoian va ser posat al capdavant de l'organització del transport de menjar i subministraments. El seu fill Vladimir, un pilot de la Força Aèria Roja, va morir en combat quan va ser abatut sobre Stalingrad. La funció principal de Mikoian durant la guerra va ser fer arribar subministraments a l'Exèrcit Roig de material, menjar i d'altres necessitats. Mikoian esdevingué Representant Especial del Comitè de Defensa de l'Estat el 1941 per ordre de Stalin; no va arribar a ser membre car Béria creia que faria una millor feina a l'administració del govern. Pels seus esforços durant la guerra, Mikoian va rebre el títol d'Heroi del Treball Socialista el 1943.