1889年（明治22年）12月9日、宮城県仙台市でブドウ園を経営する旧幕臣・井上嘉矩の十一男として生まれる。「成美」という名は「論語」顔淵篇の一節 「子曰く、君子は人の美を成す、人の悪を成さず、小人はこれに反す」に由来し、父からそんな人間になるようにと何度も教えられた成美はこの名を誇りとした。1902年（明治35年）3月31日、宮城県尋常師範学校附属小学校高等科2年修了。4月1日、宮城県立第一中学校の分校に入学し、分校の廃校に伴い1905年（明治38年）に宮城県立第二中学校に移動。中学4年終了時の成績は「60人中1番、優科：数学、劣科：漢文、運動：不定、嗜好：音楽と細工」とある。第二中学校の同級生の回想では「井上君は恐ろしく頭が良く、数学と英語が得意だった」という。1906年（明治39年）10月31日、海軍兵学校合格に伴い中学を5年生で中退し、11月24日に海軍兵学校第37期に成績順位181名中9番で入学。入校時の成績で決まる分隊の所属は第9分隊で、同分隊三号生徒15名中では先任者であった。当時を井上は「訓練は厳しかったが、（略）国家が自分たち兵学校生徒を大事にしてくれる、と感じたし、自尊心も生まれてきて、（略）自分の選んだ道は自分に合っていたな、という気持になった」と回想している。兵学校の三号生徒（一学年、井上在校時の兵学校の在校期間は3年）であった井上は、「英語の成績の悪い生徒」として教官から名指しされた。井上は、英語が抜群と評価されていた同期生に英語の勉強方法を尋ね「英語の小説、"Adventures of Sherlock Holmes" でも原書でどんどん読め」と助言され、同書を手に入れて読んでみたものの歯が立たなかった。兵学校入校時に181名中9番の好成績だった井上は、二号生徒（二学年）に進級する時は16番に席次が下がった。しかし、二号生徒になるまでには英語力を高め、二号生徒の一学期には首席となった。1909年（明治42年）11月19日、海軍兵学校を成績順位179名中2番で卒業し、少尉候補生となる。卒業に際し、恩賜の双眼鏡を拝受。2等巡洋艦宗谷乗組。第一期実習が始まり練習艦隊近海航海へと出発したし、12月29日帰着。1910年（明治43年）2月1日、練習艦隊遠洋航海に出発し、7月3日帰着した。第二期演習が始まると戦艦三笠、装甲巡洋艦春日乗組を経て、12月15日に 海軍少尉に任官。兵37期の最先任者（クラスヘッド）となった。1911年（明治44年）1月18日巡洋戦艦鞍馬乗組。鞍馬は同年4月から11月までイギリスのジョージ5世戴冠記念観艦式に遣英艦隊の旗艦として参加する。1912年（明治45年）4月24日、海軍砲術学校普通科学生となり、山本五十六から兵器学を教わった。8月9日、海軍水雷学校普通科学生となり、在校中の12月1日に海軍中尉進級。1913年（大正2年）2月10日二等海防艦高千穂乗組。9月26日巡洋戦艦比叡乗組。1914年（大正2年）8月23日、第一次世界大戦に伴い日本はドイツに宣戦布告した。比叡は青島のドイツ軍基地を攻略する陸軍部隊の間接掩護を命じられ、約1か月間、東シナ海方面で警戒任務に当たったが、戦闘は生じなかった。1915年（大正4年）7月19日、第17駆逐隊附。駆逐艦桜乗組。井上の最初で最後の駆逐艦勤務となった。12月13日、海軍大尉となり戦艦扶桑分隊長。1916年（大正5年）12月1日海軍大学校乙種学生となる。1917年（大正6年）5月1日、海軍大学校専修学生となり、12月1日に卒業し航海科を専門とする兵科将校となった。砲艦淀航海長。1917年（大正6年）1月19日、27歳で原喜久代（20歳）と結婚（喜久代の係累については「親類関係」を参照）。義姉・たま（兄・井上秀二の妻）の妹婿・大平善一の親友・阿部信行の義妹が喜久子という縁であった。第一次世界大戦において第一特務艦隊に属し、インド洋方面での通商保護に従事。1918年（大正7年）5月、呉に帰投し、同年7月に淀は日本が占領したドイツ領南洋群島を巡航して新占領地の整備に従事し、約5か月後に小笠原諸島・父島に帰投。1918年（大正7年）12月1日、スイスの駐在武官を拝命する。1919年（大正8年）2月8日に長女の靚子が誕生した。靚子の誕生を見届けた井上は、2月10日に神戸港を出発し4月にスイスに着任した。井上は毎日1時間、ドイツ人教師についてドイツ語の個人教授を受けて習得に励み、スイス到着の2か月後に「独語の日常会話は支障ない程度に達した」旨を海軍次官に報告した。しかしスイス人のドイツ語には訛りがあり、習得の妨げとなるため、井上は早期にドイツに移ることを望んだ。1920年（大正9年）7月1日、平和条約実施委員となり、ベルリンで英仏伊の委員たちとドイツ軍武装解除に従事。井上のドイツ語は、ドイツ当局者との折衝時に通訳を要さず、イギリス将校のために通訳をするレベルに達していた。在欧中にフランス語も習得したいという井上の希望が通り、「平和条約実施委員」を免ぜられ、1921年（大正10年）9月1日よりフランス駐在となり、パリでフランス語修得に従事し、フランス人教師の個人教授を毎日1時間受けた。井上のフランス駐在は僅か3か月だったが、日本への帰国後、海軍次官代理に「仏語は、読み・書き・会話、いずれも支障ないレベルに達した」旨を報告している。井上は「海軍生活において、独語は日独伊三国軍事同盟に役に立った程度だが、仏語は、後々の勤務において外国人との付合いに使う機会が多く大変役に立った」と回想する。12月1日、海軍少佐となる。大西洋を渡りアメリカ経由で2月に帰国した。生涯で唯一のアメリカ訪問だった。1922年（大正11年）3月1日、軽巡洋艦球磨航海長兼分隊長となり、主にシベリア出兵に伴う警備行動に従事した。12月1日、海軍大学校甲種第22期入校。大尉時代に欧州に3年間駐在し、甲種学生を受験できなかった井上は、従来の規則では受験資格を失う所だったが、規則改正により受験できた。井上は同僚から「甲種入学の規則が変わったのは、貴様のためだって言う評判だよ」と冷やかされたという。井上の甲種学生選考試験での筆記試験成績は60番で、本来なら落第だったが、海外勤務が長かったことを考慮して特例で口頭試験の受験を許され、口頭試験では1番で合格した。1924年（大正13年）12月1日、海軍大学校甲種学生卒業、海軍省軍務局第一課B局員。井上は海軍書記官・榎本重治と親友となった。1925年（大正14年）、榎本重治海軍書記官に「治安維持法が近く成立するが、共産党を封じ込めずに自由に活動させる方がよいと思うが」と問われた井上は無言であった。それから二十数年が経った戦後のある日、横須賀市長井の井上宅を初めて訪ねてきた榎本の手を握って、井上は「今でも悔やまれるのは、共産党を治安維持法で押さえつけたことだ。いまのように自由にしておくべきではなかったか。そうすれば戦争が起きなかったのではあるまいか」と語った。1925年（大正14年）12月1日、中佐に進級。1927年（昭和2年）10月1日、海軍軍令部出仕。11月1日、在イタリア日本大使館附海軍駐在武官兼艦政本部造船造兵監督官兼航空本部造兵監督官。横浜港から渡欧。ローマに着任した井上はイタリア人やイタリア軍についてネガティブな経験を重ねた。これは、井上が軍務局長時代に日独伊三国同盟に反対する理由の一つとなった。1929年（昭和4年）11月30日、海軍大佐となり12月に帰国した。帰国した井上は妻・喜久代の肺結核が悪化して看護が必要であるため、海軍人事当局に陸上勤務を願い出て1930年（昭和5年）1月10日、海軍大学校教官に補された。井上は人事当局の配慮に感謝し、空気の良い鎌倉に家を借りて喜久代の療養を優先した。井上は海大教官として甲種学生への戦略教育を担当した。井上の戦略教育は理詰めであり「戦訓を基礎としない兵術論は卓上の空論に過ぎない」「精神力や術力（技量）を加味しない純数学的な（戦略）講義をすることは、士気に悪影響を及ぼす」という批判も受けた。