寺島の後を受けて参議兼外務卿となった井上馨は、最難関のイギリス公使には上野景範に代えて省内きっての親英派で強硬派でもある森有礼を起用し、法権・税権の部分的回復を盛りこんだ改正案を作って、1879年（明治12年）9月19日、森駐英公使に基本方針を訓令した。同年11月には在欧各国の公使に対し、海関税則改正と開港場における外国人の不当な慣習（日本人を未開人扱いすることなど）の是正、日本の行政規則における軽微な罰則・制裁条項をもつ規則についての外国人への適用などを骨子とした条約改正方針を各国に通知するよう訓令を発した。1880年（明治13年）3月の官制改革においては、参議と卿は分離されたが、井上外務卿のみは条約改正に携わる関係から、その例外とされた。なお、井上を補佐した最初の外務大輔（次官）は前駐露公使榎本武揚であり、外務少輔には上野景範が任じられ、榎本が海軍卿に転出すると上野が外務大輔に昇格した。また、1880年5月以降は横浜のアメリカ副領事であったヘンリー・デニソンが外務省顧問に採用された。1880年6月、井上案の骨子を基に修好条約改正案および通商航海条約改正案が準備され、同年7月6日、条約改正会議を日本で開催することをアメリカ・清国を除く各国に通知した。この改正案の内容は駐日オランダ公使からリークされ、7月16日付ジャパン・ヘラルド紙に掲載された。翌1881年（明治14年）2月、井上は条約改正案を関係各国に回付した。当初の列国の態度は日本案は要求のみ多く、それに対する報酬は少ないとして、要求に対する対価や譲与を求める姿勢が強かった。その後、森有礼駐英公使はイギリス側の対応を探り、双方で交渉の課題と進め方について協議したが、イギリスは関税規則改正に関わる交渉にのみ応じる方針であることが判明した。1881年7月23日、イギリス外相グランヴィル伯は森駐英公使に対し、日本提出の条約改正案による交渉に反対の意を表明、東京での予備会議開催を提案した。これに対し、ドイツは、法権回復の交渉にも応じる構えがあるとの意向を示し、イギリスの方針とは異なる感触を得たが、東京での予備会議開催に対してはイギリスと同意見であり、他の各国もこれに追随した。井上は各国の要求を容れて、改正の基礎案を審議するための予備会議（条約改正予議会）を開くこととした。12月28日の御前会議での諒承を経て、予備会議は翌1882年（明治15年）1月25日に東京の外務省で第1回がひらかれ、フランス・ドイツ・イギリスなど8か国が参加した。この後、アメリカ合衆国・ベルギーなども加わり、同年7月27日まで計21回開催された。なお、この年の3月3日、伊藤博文は明治天皇に憲法調査のための渡欧を命じられ、同月14日にはヨーロッパに向け出発している。井上改正案は、「取らんと欲せば、必ず酬うる所なかるべからず」という方針に立ち、日本が関税を引き揚げて税収増加を図ること、日本の行政規則を条件づきで外国人に及ぼすこと、12年後に対等条約の締結を提議する権利を有することなどの代わりに、外国人には土地所有権、営業権、内地雑居権を与えようというものであり、中には、宮城県の野蒜築港後に同港を開き、区域を設けて外国人の雑居を許すという案もあった。これについては、政府部内でも佐々木高行、大木喬任、山田顕義の参議3名が、日本人は失うもの多く、得るところは少ないとして強く反対し、政府上層部の意見が分裂した。そのため、井上は一時は辞任の意向を示すほどであったが、寺島前外務卿が慰留、岩倉具視や山縣有朋らが3参議を取りなして、結局、ひきつづき井上の方針が採用されることとなった。なお、小野梓は、1882年『外交を論ず』を著し、冒頭にトルコの例をひいて、列国共同会議を開くことは列国共同の圧力を受けることにほかならないとして、共同会議を開くべきではないと強く主張した。井上の改正案は、諸外国からも法権・税権のいずれに対しても批判が相次いだ。これに対し、井上は日本は法典の整備に鋭意取り組んでおり、日本国内の裁判所に外国人判事を任用する用意があると回答、1883年（明治16年）4月5日の第9回予議会では日本の法律に服する外国人には内地開放（内地雑居）を行う旨宣言した。内地開放とは、内地旅行や内地通商に関する制限を撤廃することであり、外国人の土地所有や企業活動の自由を認めることであったが、これは法権の束縛された当時の日本にとって唯一最大の切り札であり、列国が明治初年から繰り返し主張してきたことでもあった。この宣言は、イギリスはじめ列国からは、意外の念を示されながらも歓迎された。6月1日の第13回予議会で井上は、新条約批准5年以内の暫定措置として、領事裁判を認めながらも、その裁判は外交官ではなく外国の法律の専門家によるものとし、また、法律は日本の国内法を適用するという案を提示した。税率の改正に関しては、日本の要求が自由貿易の理念に反するとの批判をかわすべく、大蔵省で進めていた紙幣整理の償却費400万円の確保が目的であるとして、従来5パーセントであった税率を、奢侈品25パーセント、他の物品15パーセントに引き上げる案を示した。イギリスはこれに反対、増収総額300万円程度となる税率案を提示した。それに対し、ドイツは日本に対して好意的で、結果的には総額360万円の増収額となる税率に定められた。なお、新条約の施行期間としては、裁判については12年、税率については8年と定められた。以上、予備会議での交渉は、新条約の方針の協議に止まるものではあったが、井上の内地開放宣言が功を奏し、日本は一貫して協議の主導者たる立場に立つことができた。条約改正交渉と並行して井上は、国内に欧化政策を推進するとともに、西欧風施設を建設して外国使節を歓待し、日本が文明国であることを広く内外に示す必要があると訴え、日比谷公園に隣接する麹町区山下町の地（現在の千代田区内幸町一丁目。NBF日比谷ビル）にネオ・ルネサンス様式の社交施設「鹿鳴館」の建設に取りかかった。イギリスの強硬姿勢の原因の一つには、駐日英国公使パークスの日本を遅れた非文明国とみる日本観が大きな影響を及ぼしていたが、そうした日本観は程度の差はあれ西洋諸国の外交官に共通するものであった。維新以来の開化派であった井上としては、条約改正交渉をスムーズに進捗させていくには、こうした日本のイメージを払拭する必要があると考えたのである。これはまた、来るべき内地開放の部分的な予行演習という意味合いを兼ねていた。鹿鳴館はイギリス人建築家ジョサイア・コンドルによって設計され、工事は1880年（明治13年）に着手されて1883年（明治16年）11月に完成した。煉瓦造の2階建てで総建坪は466坪、2階正面が舞踏室となっており、完成には足かけ3年の歳月と18万円の工費を要した。11月28日の落成式では軍楽隊の吹奏や花火が打ち上げられる中、内外の高官や紳士淑女1,200人（うち外国人400人）が鹿鳴館に集まって、舞踏会が夜中まで繰り広げられた。井上馨はこの夜「この鹿鳴館を国内外の紳士がともに交わり、国境を越えた友情を結ぶ場にしたい」と演説した。また、井上を局長とする臨時建設局は鹿鳴館周辺に新官庁街を建設することを企図し、ドイツ人技術者のヴィルヘルム・ベックマンを招いて官庁集中計画を軸とした首都改造を立案した。予備会議の成果や井上の内地開放案等について各国の意向を打診した結果、イギリスのパークス公使は、法権は後日検討することとして、関税自主権の付与には依然反対ではあるものの、今回は通商面や税権の面で日本に対し応分の譲歩の用意があるという意向を示した。また、ドイツは内地開放が関税自主権付与の前提になるという方針を表明した。1884年（明治17年）3月、日本に対して強硬な姿勢の強かったパークスが駐清公使に転任し、その後任公使としてフランシス・プランケットが着任、前任者とは違って、柔軟な対応をする見込みがあらわれた。アメリカからも好意的な反応がみられ、各国も在留外国人が日本の行政法規に従うことについては諒承の態度がみられるようになった。井上は列国の態度を勘案した上、1884年（明治17年）8月4日、条約改正基本方針を各国に通告し、条約改正会議（本会議）を開くよう提案した。しかし同年12月、朝鮮で金玉均らによるクーデタ（甲申政変）がおこって対清関係が緊迫し、イギリス海軍による朝鮮巨文島占領事件もあってその対応に追われたため、本会議の開催は1886年（明治19年）に延期された。