于肥后国（即现在的熊本县）的一个武士家庭，父亲为饭田家。在他22岁那年，即1866年，他被长冈市的一个大名井上茂三郎领养并改姓。因为井上毅是一个颇有才智的青年，所以他进入了肥后国最有名的地方学习儒家思想，更成为了驻校寄宿生。明治维新后，井上毅到日本法务省工作，并被派到德国和法国留学。回国后，他成了大久保利通的门徒，并伴随他到北京和清朝在牡丹社事件方面谈判。在大久保利通遇刺后，他跟从伊藤博文和岩仓具视工作，并成了元老院的一员。
官僚生活.在1875年，井上毅利用他在欧洲的所见所闻