生于长州藩萩城（位于今山口县萩市）武士世家。1863年，经上海秘密乘船去英国伦敦留学，在伦敦大学学院学习近代科学技术。同行及同学中有多位日本近代化先驱，包括伊藤博文、山尾庸三、井上馨、远藤谨助；此五人被并称为日本的长州五杰。1868年，井上胜回国（井上馨和伊藤博文于1864年先于井上胜回国。自1869年起，井上胜历任铁道头、工部大辅、铁道局局长、铁道厅厅长。1872年，井上胜主持修建新桥至横滨的铁路。1874年，井上胜主持修建大坂至神户间的铁路。1887年5月24日，井上胜因对铁路建设的贡献，被