웨이크 섬 전투나 산호해 해전에서의 실수가 거론된 이노우에 시게요시 사령장관이 경질된 이후에는 자주 사령부가 교체되었다. 외남양 공방이 본격화되기 전에 외남양 방어가 제8함대에 위임되었고, 제4함대는 다시 내남양 부대로 돌아간다. 1943년 말부터 내남양에서도 미군의 반격이 시작되었고, 1943년 11월에 길버트 제도와 타라와가 함락되었으며, 이듬해 1월에는 마샬 군도의 콰잘레인 환초도 함락되었다. 1944년 2월 17일에는 트럭 섬 공습으로 인해 중심 거점이 기능이 되지 않자 고바야시 마사시 사령장관이 경질되었다. 연합 함대의 기함은 팔라우에서 퇴각했지만, 여기도 3월말 팔라우 대공습으로 기능이 마비되어 일본군은 내남양의 제해권을 완전히 잃었다. 제4함대의 함대 근거지 수비대로서 의의도 없어졌다.