17年，日本为了因应一战的护航巡逻而组建了。1918年6月13日，第一特务舰队部分舰艇改为第二遣外舰队。1921年4月4日，二遣舰解散。
第二次编成.1927年5月16日，日本海军为了强化在中国青岛的警戒能力，而从第一遣外舰队中抽调一部进行改编，成为第二遣外舰队。1932年一·二八事变爆发，日本海军向第一、第二遣外舰队增派支援，并组成第三舰队。1933年4、5月间，第一、第二遣外舰队分别改编为第11、第10战队，舰队编制随之撤销。