Higo Province
井上毅出生於肥後國（即現在的熊本縣）的一個武士家庭，父親為飯田家。在他22歲那年，即1866年，他被長岡市的一個大名井上茂三郎領養並改姓。因為井上毅是一個頗有才智的青年，所以他進入了肥後國最有名的地方學習儒家思想，更成為了駐校寄宿生。