I løpet av seks minutter var hangarskipene «Sōryū» og «Kaga» i brann fra for- til akterskip. Siden «Akagi» kun ble truffet av én bombe, tok det lenger tid før brannen utviklet seg, men etter hvert viste det seg umulig å slukke den, og hangarskipet måtte evakueres. Da admiral Nagumo begynte å fatte omfanget av det som hadde skjedd, syntes det som han gikk inn i et slags sjokk. Hans stabssjef, kontreadmiral Ryūnosuke Kusaka, klarte å overtale han til å forlate den kritisk skadde «Akagi». Klokken 10:46 overførte admiral Nagumo sitt kommandoflagg til den lette krysseren «Nagara». Alle de tre japanske hangarskipene fløt fremdeles, siden de ikke hadde skader under vannlinjen. Til tross for et håp om at «Akagi» kunne bli reddet eller bli tauet tilbake til Japan, ble etter hvert alle forlatt og senket.