1875年（明治8年）11月、外務卿の寺島宗則は、条約改正交渉開始を太政大臣であった三条実美に上申し、1876年（明治9年）には交渉を開始して外国からの輸入を減らすことを主目的として関税自主権回復を目指した。これは、大蔵省租税頭の松方正義による強い要望もあって、税権回復によって西南戦争後の財政難を解消する一方、殖産興業を推進し、国内産業の保護を通じて政府の歳入増加を図る見地から特に優先すべき課題とみられたからであった。同じころ地租改正反対一揆も各地で頻発しており、歳入に占める地租依存度を軽減することは、緊急の課題だったのである。一方の法権、すなわち領事裁判権の方は、各国がこれに応じることなく、逆にエジプトのムハンマド・アリー朝におけるような混合裁判制度を採用することを示唆したため、政府が同制度を調べた結果、改訂によって特に日本の利益となることはないとして、これを断念した。なお、この年、朝鮮とのあいだに日朝修好条規が結ばれているが、これは日本側に有利で朝鮮に不利な内容の不平等条約であった。1876年以降、寺島外務卿は、アメリカ合衆国、イギリス、ロシア帝国の対日政策の歩調に乱れが生じた間隙を捉え、税権の回復ならば応じる用意があるというアメリカを相手に単独交渉した。この時期のアメリカは、欧州諸国の帝国主義外交とは一定の距離を置いており、東アジア・太平洋地域におけるヨーロッパ優位の情勢を牽制する意図もあって、英仏両国よりも日本に対し好意的であった。1873年（明治6年）に結ばれた日米郵便条約などは、日本にとっては欧米諸国と結んだ最初の対等条約であった。改正事業を実効性あるものとするために、アメリカとばかりではなくヨーロッパ諸国との交渉も同時進行で進める必要を感じた寺島は、1878年（明治11年）2月9日、イギリス公使上野景範、フランス公使鮫島尚信、ドイツ公使青木周蔵、ロシア公使榎本武揚に交渉開始の訓令を発した。5月上旬、鮫島はワダントン（fr）フランス外務大臣と、上野はイギリス外相のソールズベリー侯と、青木はフォン・ビューロー（de）ドイツ外相と、榎本はロシア外務次官ギールスとそれぞれ交渉に入った。英・仏・独・露で条約改正交渉が開始されてまもなく、パリのブルボン宮殿で第2回万国郵便連合大会議が開催され、ヨーロッパの20数カ国が参加、日本も鮫島がサミュエル・ブライアン（駅逓局のお雇い外国人。アメリカ人）とともに会議に出席して6月1日に万国郵便連合条約に調印、連合にとってはアジアで初の連合加盟国となり、郵便主権を回復した。一方アメリカとの交渉は実を結び、1878年（明治11年）7月、駐米公使の吉田清成とアメリカのエヴァーツ国務長官との間で税権回復を含む新条約（吉田・エヴァーツ条約）が成立した。これは、全10か条より成り、アメリカの領事裁判権を日本側が認めるかわりにアメリカは日本の関税自主権を認めるというもので、輸出税の廃止や日本沿海における日本の貿易権の独占なども盛られており、当時の日本としてはほぼ希望通りの内容であった。また、第7条では「互相の理」に基づき、新たに下関港を含む2港を開くことが定められていた。同条約の成立が翌1879年（明治12年）7月に公表されると、ロシアとイタリアはこれに好意的な姿勢を示したものの、日本との貿易額が諸国中最も多いイギリスは、日本が保護貿易政策を企図しているとして自由貿易の立場からこれを非難し、また、イギリスの頭越しに日米間で秘密裡に改正交渉が進められていたことに不快感を表明して各国共同の連合談判形式の採用を迫った。駐日英国公使のハリー・パークスは、日本がイギリスにとって重要な製品輸出市場と考え、執拗に反対活動を展開した。鮫島尚信は、ワダントン外務大臣との会談のなかで、近年ヨーロッパにおいては互いに関税税率を国家間で協定しあう通商条約が実施されており、フランスでさえも自由に税則を変更することができないと伝えられており、これを受けて、鮫島・上野・青木らは新協定税率にもとづく通商条約の締結を寺島外務卿に提案し、改正交渉の場をヨーロッパとすべきことを具申した。これは、パークスら日本駐在の外交官の動きを封じることができるうえに、フランスが必ずしもイギリスと同意見ではないとの手応えがあったためである。しかし、寺島は税権の完全回復にこだわり、東京での国別談判の方針を採用、これを押し切って交渉を進めたが難航した。結局、ドイツ・フランス・イタリアがイギリスに同調して、日本の関税自主権回復に反対し、また、法権の優先を求める国内世論の反対もあって条約改正交渉は挫折し、寺島は外務卿を辞職した。吉田・エヴァーツ条約は、その第10条において、批准に及んでも他の国々がこの規定を認めなければ発効せず、他国も同様の条約を結ぶことが条件となっていたため、結局、効力を発しなかった。アメリカ以外の国も同様の条約を締結しなければ、アメリカ商品のみに高関税がかけられて競争力を失い、通商上著しい被害が予想されるため、アメリカとしてはやむを得ない措置であった。これが、二国間交渉による条約改正の難しさであり、その後も日本は二国間で交渉を進めるか、多国間交渉でいくかで揺れ動くこととなる。これに前後して1877年（明治10年）、イギリス商人ジョン・ハートレーによる生アヘン密輸事件が発覚した。これは修好通商条約付属の貿易章程に違反していたが、翌1878年2月、横浜英国領事裁判所は生アヘンを薬用のためであると強弁するハートレーに対し無罪の判決を言い渡した（ハートレー事件）。また、1877年から78年にかけてコレラが流行し、当時はコレラ菌も未発見で特効薬もなかったところから、1878年8月、各国官吏・医師も含めて共同会議で検疫規則を作ったが、駐日英国公使ハリー・パークスは、日本在住イギリス人はこの規則に従う必要なしと主張、翌1879年（明治12年）初夏、コレラは再び清国から九州地方に伝わり、阪神地方など西日本で大流行したことに関連してヘスペリア号事件が起こっている。ヘスペリア号事件（ドイツ船検疫拒否事件）とは、西日本でのコレラの大流行を受けて、1879年7月、当局がドイツ汽船ヘスペリア号に対し検疫停船仮規則によって検疫を要求したところ、ヘスペリア号はそれを無視して出航、砲艦ウルフの護衛のもと横浜入港を強行した事件である。その結果、横浜・東京はじめ関東地方でもコレラが流行し、コレラによる死者は1879年だけで10万人に達している。一方、福沢諭吉・馬場辰猪・小野梓らによる民間の条約改正論がいっそう高まり、自由民権運動においても地租軽減などと並んで条約改正による国権回復が叫ばれた。福沢諭吉は、早くも1875年（明治8年）の段階で、『文明論之概略』において「自国の独立」を論じ、人民相互の同権とともに外交上の同権（不平等条約の改正）を論じており、馬場辰猪は1876年（明治9年）10月、英文でみずから著述した『条約改正論』をロンドンで出版している。日本の知識人の多くがハートレー事件やヘスペリア号事件により、法権の回復がなければ国家の威信も保たれず、国民の安全や生命も守ることのできないことを知るようになった。実際問題として、領事裁判においては、一般の民事訴訟であっても日本側当事者が敗訴した場合、上訴はシャンハイやロンドンなど海外の上級裁判所に対しておこなわなければならず、一般国民にとって司法救済の道は閉ざされていたのも同然であった。開港以来の横浜居留地での生糸を中心とした貿易においても、外国人商人の商品代金踏み倒しなど不正な取引も頻発したが、治外法権によって護られていたこともあって、世論は、経済的不利益の主原因はむしろ治外法権にあると主張し、法権回復を要求しはじめた。なお、民権運動興隆の状況を目にした参議山縣有朋が、1879年（明治12年）、民心安定のために国会開設が必要であるとの建議を提出したのを契機として、政府は参議全員に意見書の提出を求めたが、それに対し、伊藤博文は条約改正を視野に入れての立憲政体の導入が必要だとの意見書を提出した。国会開設の詔が出されたのは、明治十四年の政変後の1881年（明治14年）のことであった。