毅也没有释出手下的巡洋舰（当时仍在拯救飞龙号的船员）。随着时间过去，由于美军舰队迟迟未见踪影，山本五十六终于面对现实，在6月5日12时15分下令南云忠一和近藤信竹率领舰队与自己会合，随后命令栗田健男调头，但栗田健男却要到2时30分才收到命令。这时候熊野号、铃谷号、三隈号、最上号四艘重巡洋舰已经驶至距离中途岛50海里水域，并且被美军发现。混乱之中，最上号以高速撞上三隈号，舰艏严重损毁，只能以12节速度航行。栗田健男只好留下轻伤的三隈号保护最上号，率领其余两艘巡洋舰撤退。伊168号潜艇没有接获任何撤退命令，