Битката при Мидуей през юни 1942 г. довежда почти безупречната кариера на Нагумо до край. По време на битката, американски бомбардировач Martin B-26 Marauder е тежко повреден от зенитен огън и се насочва директно към мостика на самолетоносача „Акаги“. Самолетът, или опитвайки се да се взриви в кораба, или изгубил контрол от щетите, едвам не се разбива в мостика, което би убило както Нагумо, така и командващия му щаб. Възможно е това преживяване да е допринесло за последващата решителност на Нагумо да предприеме още една офанзива към Мидуей, макар това да е пряко неподчинение на заповедите на Ямамото да се поддържа резервна сила, готова за противокорабни действия. Тежкото бомбардиране на „Акаги“ и загубата на два самолетоносача вероятно са го лишили от останалата му увереност в победата. Когато Нагумо осъзнава сериозността на положението, той изпада в състояние на шок. Свидетели разказват, че той е стоял до корабния компас, съзерцавайки пламъците върху корабите си в транс. Макар да е помолен да напусне кораба, Нагумо не помръдва, а само промърморва, че „не е време още“. В крайна сметка, началник-щабът на Нагумо, Рюносуке Кусака, успява да го убеди, а Нагумо с едва забележимо кимване и просълзени очи се съгласява. Нагумо и щабът му се евакуират през предните прозорци на мостика с въже. Първи въздушен флот изгубва четири самолетоносача в повратната битка при Мидуей, а огромните загуби на опитни летци и персонал, поддържащ самолетоносачите, се оказват пагубни за представянето на Императорския флот в по-късните му схватки. След тази битка Япония започва да губи стратегическата си инициатива в Тихоокеанската война. Нагумо планира да се самоубие, но е разубеден от Кусака. От този момент нататък Нагумо изгубва агресивността и ефективността си в битка.