万治2年（1659年）に、佐賀城下片田江横小路（現在の佐賀市水ヶ江二丁目）で、佐賀藩士山本神右衛門重澄の次男として生まれた。母は前田作左衛門女。常朝が自分の生い立ちのことを語っている項が『葉隠』・聞書第二にあり、それによると、自分は父70歳のときの子で、生来ひ弱くて20歳まで生きられまいと言われたので、塩売りでもやろうと父は思ったが、名付親の多久図書（茂富、重澄の大組頭）の「父の血を受け末々御用に立つ」という取りなしで、初名を松亀と名づけられ、9歳のとき、鍋島光茂（佐賀藩2代藩主）の小僧として召し使われたという。11歳で父に死別し、14歳のとき、光茂の小々姓（いわゆる児小姓・稚児小姓）となり、名を市十郎と改める。延宝6年（1678年）20歳に元服して権之丞と改名、御傍役として御書物役手伝に従事する。この年に、田代陣基が生まれている。この間、私生活面では20歳年長の甥・山本常治に厳しい訓育を受けたが、権之丞が、若殿綱茂の歌の相手もすることが光茂の不興をかい、しばらくお役御免となった。失意のこの頃、佐賀郡松瀬の華蔵庵において湛然和尚に仏道を学び、21歳のときに仏法の血脈(けちみゃく)（師から弟子に法灯が受けつがれること）と下炬念誦(あこねんじゅ)（生前葬儀の式、旭山常朝の法号を受けた）を申し請けている。『葉隠』で慈悲心を非常に重んじている素地はこのとき涵養されたといえよう。さらにこの前後、神・儒・仏の学をきわめ藩随一の学者といわれながら下田（現在の佐賀県大和町）松梅村に閑居する石田一鼎を度々訪れて薫陶を受けた。このことも後の『葉隠』の内容に大きな影響を与えている。天和2年（1682年）24歳のとき、6月、山村六太夫成次の娘と結婚、同年11月、御書物役を拝命。28歳のとき、江戸で書写物奉行、あと京都御用を命ぜられている。帰国後の33歳のとき、再び御書物役を命じられる、命により親の名“神右衛門”を襲名した。5年後の元禄9年（1696年）、また京都役を命ぜられ、和歌のたしなみ深い光茂の宿望であった三条西実教よりの古今伝授（古今和歌集解釈の秘伝を授かること）を得ることのために、この取り次ぎの仕事に京都佐賀を奔走した。古今伝授のすべてを授かることは容易ではなかった、が元禄13年（1700年）ようやくこれを受けることができ、隠居後重病の床にある光茂の枕頭に届けて喜ばせ、面目をほどこした。
明治26年（1893年）3月7日、第2次伊藤内閣において文部大臣を務める。任期は結核の更なる悪化もあり翌27年（1894年）8月29日までの約1年半に過ぎなかったが、学制改革を目標とし、小学校就学の増加および実業教育の盛り込みを政策に掲げ改善に全力を尽くした。背景には欧米と比較して日本の教育で有用な人材が育たない不満があり、資本主義の発展に伴う実業多様化に応じ、小学から大学まで生徒の自立心を育み、かつ実業に興味を示し、列強進出を背景に国際情勢の緊張を念頭に入れた愛国心の浸透、海外でも通用する人材を育成出来るよう誘導する教育の実現を目指した。6月に閣議に提出した7ヶ条の改革案は、就学率の低い小学校の改善を図るため敷居を低くして国が補助金を出す、実業・工業学校も同様に補助金対象とする、高等中学校の再編で専門学校を開設して大学進学以外の道も開くようにすることを明記、井上はこの案に基づき改革に邁進することになる。文相としての姿勢は対話を重んじ、在野の教育学者を招いてこれからの教育論を話し合い、新聞に文部省の教育方針を発表して意見募集を呼びかけ、直接学校へ乗り込み実地調査を徹底的にやりこんだりもしている。官民の対話を試みた案に6月12日制定の教育高等会議があり、地方・中央から民間の教育者などを集め官僚と共同で学校問題を話し合い、文相の諮問機関に設定する対話政策を発案した。教育会議計画は井上の任期に実現しなかったが、明治29年（1896年）の蜂須賀茂韶が文相の時に成立する。また、同年度の予算案に小学校教育費国庫補助法を提出したが却下され、翌年度も成立せず小学の改革は上手くいかず、大学でも教師陣の反対で介入を控えた。一方、高校と実業教育の再編は進み、小学に手を加えない代わりに、未就学者を対象に基礎学問や実学教育を軸とした、小学を補完する教育機関の設立を図り、11月22日に実業補習学校規程を公布して、明治27年（1894年）6月12日に実業教育費国庫補助法が公布、後に実業補習学校が設立されるきっかけを作った。中学・高校も改編され、尋常中学校は同月15日に実習科目（図画・測量など）を加えた実科中学校として地方に追加出来る許可制を設けた。25日に第一次高等学校令も公布して高等中学校を尋常中学校と高等学校に分離・改編、7月25日に職業専門学校である徒弟学校規程を公布したのを最後に8月29日に辞任した。井上のこれらの改革は事案を先取りし過ぎて直ちに実現されなかったが、教育発展の足掛かりとして後に設立・学生に大学以外に様々な分野へ進める多様性を開いていった。教育以外に閣僚の一員として他の政治事件関与も試み、千島艦事件裁判におけるイギリス相手の訴訟に関わりたがったり、議会対策で解散論を主張したが、いずれも伊藤に容れられず、思想のずれもあって伊藤から遠ざけられ、教育界の活動の他は消極的になり辞任に至った。政界から身を引いた後は逗子（現在の神奈川県逗子市）の別荘で療養に努めたが、病気の進行は進み明治28年（1895年）3月17日、51歳で死去。亡くなる前の1月に子爵位を授けられ、2月に漢学者岡松甕谷の子匡四郎を長女富士子の婿養子に迎えた。墓は東京都台東区谷中の瑞輪寺。