在成立全新的明治政府后则继承这些海军操练所与海军伝习所外加其他相关人员和装备。1870年（明治3年），陆海军正式分离。1872年（明治5年），海军省在川村纯义与胜海舟的指导下在东京都筑地区建立。1876年（明治9年）创立海军兵学校。1893年（明治26年）成立军令部。由於萨摩藩在西南战争中失去的影响力，早期的明治政府把陆军的发展重於海军。1903年（明治36年），在成立参谋本部后，通过了两名海军大臣西乡从道和山本权兵卫的主张，开始对舰队的装备和组织结构进行一番改革，到日清战争（甲午战争）时，日本海军已经拥有31艘军舰和24艘水雷艇。到日俄战争时，则达到七十六艘军舰外加七十六艘水雷艇的规模。1920年（大正9年），在日俄战争结束后，海军开始一套以美国海军为假想敌的“八八舰队”（八艘战舰加上八艘巡洋舰）增强政策。因为在1922年（大正11年）签订的华盛顿海军条约和1930年（昭和5年）的伦敦海军条约的影响导致主力舰的建造被一度中断，但在伦敦海军条约破裂后则重新开始扩充。1941年（昭和16年），到太平洋战争开战前，日本海军的旗下拥有十艘战舰，三百八十五艘舰艇和包括零战在内的3260架军用机。从日俄战争（明治38年）胜利以来一直到太平洋战争（昭和20年）战败，大日本帝国海军一直和英国皇家海军与美国海军构成全球范围内的世界三大海军。