海舟的指导下在东京都筑地区建立。1876年（明治9年）创立海军兵学校。1893年（明治26年）成立军令部。由于萨摩藩在西南战争中失去的影响力，早期的明治政府把陆军的发展重于海军。1903年（明治36年），在成立参谋本部后，通过了两名海军大臣西乡从道和山本权兵卫的主张，开始对舰队的装备和组织结构进行一番改革，到日清战争（甲午战争）时，日本海军已经拥有31艘军舰和24艘水雷艇。到日俄战争时，则达到七十六艘军舰外加七十六艘水雷艇的规模。1920年（大正9年），在日俄战争结束后，海军开始一套以美国海军为假想敌的“八