Über diesen Aufstieg waren seine Feinde in der Marine und am kaiserlichen Hof so verärgert, dass sie ständig Kaiser Hirohito mit der Forderung bedrängten, Shimada abzusetzen. Dies taten sie vor allem mit dem Verweis auf die Tatsache, dass die japanische Flotte jede Seeschlacht unter seinem Kommando verlor. Kurz nach dem Fall von Saipan im Juli 1944 machte Kaiser Hirohito seine Kritik dem Premierminister Tōjō Hideki deutlich. Dieser bat unverzüglich um den Rücktritt Shimadas, welcher der Forderung sofort nachkam. Das konnte aber die Absetzung Tōjōs dennoch nicht verhindern. Für den Rest des Krieges war Shimada wie sein Vorgänger Nagano Osami ein „Berater der Regierung“.