藤博文于1864年先于井上胜回国。自1869年起，井上胜历任铁道头、工部大辅、铁道局局长、铁道厅厅长。1872年，井上胜主持修建新桥至横滨的铁路。1874年，井上胜主持修建大坂至神户间的铁路。1887年5月24日，井上胜因对铁路建设的贡献，被授予子爵爵位。1890年，井上胜在铁道厅厅长任上，被封为贵族院议员，因此成为华族。1893年，井上胜卸任铁道厅厅长。1906年4月1日，因铁道国有化的贡献，被授予勋一等旭日大绶章。1909年，就任日本帝国铁路协会会长。1910年，井上胜在视察铁路建设时逝世，