南方作戦の目途がついた後、機関整備のため内地に帰投。横須賀で修理を終え、ミッドウェー作戦参加のため柱島（瀬戸内海）へ回航中の1942年（昭和17年）5月1日深夜、ガトー級潜水艦のドラムの雷撃により5月2日午前4時頃に沈没した。駆逐艦・潜水艦・哨戒艇・掃海艇・輸送船等は狭義の「軍艦」ではなかったため、「瑞穂」は太平洋戦争で初めて戦没した帝国海軍の軍艦となった。