I september 1939 skar Nazityskland og Sovjetunionen hver deres andele af interessesfærer ud af Polen og Østeuropa på baggrund af Molotov-Ribbentrop-pagten. De sovjetiske styrker arresterede 26.000 polske officerer i den østlige del af Polen, og Stalin og andre højtstående magthavere inklusiv Mikojan underskrev ordren til at henrette dem. Da Tyskland invaderede Sovjetunionen i 1941 blev Mikojan sat i spidsen for at organisere transporterne af mad og andre forsyninger. Hans søn Vladimir, en pilot i Sovjetunionens luftvåben, døde i kamp da hans fly blev skudt ned over Stalingrad. Mikojans vigtigste opgave under krigen var at forsyne den Røde Hær med materialer, fødevarer og andre nødvendigheder. Mikojan blev særlig repræsentant for den statslige forsvarskommission i 1941 - indtil da havde han ikke været medlem eftersom Berija vurderede, at han var til bedre nytte i statsadministrationen. I 1946 blev Mikojan vicepremierminister.