因铁道国有化的贡献，被授予勋一等旭日大绶章。1909年，就任日本帝国铁路协会会长。1910年，井上胜在视察铁路建设时逝世，享年68岁。养子井上胜纯继承爵位。井上胜逝世后，葬于现今东京都品川区东海寺大山墓地，他的墓紧邻东海道新干线，于1964年被日本国有铁道指定为铁道纪念物。2017年东京车站丸之内口前广场整建工程时，重新竖立井上胜的铜像。