长州藩士时代.长州藩藩士·井上五郎三郎的次男。1863年秘密前往英国留学，为长州五杰之一。1864年因发生下关战争，与伊藤博文紧急回国调停。
明治维新后.进入官界后，着力治理财政。1873年、被司法卿江藤新平以尾去泽铜山的贪污事件为由被追究，辞职。之后一度进入实业界，开创纺织业・铁道事业等。后复归政界，历任外务卿、外务大臣、农商务大臣、内务大臣、大藏大臣。明治40年成为侯爵，和日本邮船、三井财阀、藤田组有密切联系，在财界也有强有力的发言权。最后成为三井