吉岡弘毅
帰国直後の9月、吉岡は外務省を依願退官したが、これは交渉不調による引責辞職ではなく、あくまで彼の自発的意志にもとづくものだったようである。
吉岡の帰国・退官後の日朝関係は、1872年(明治5年)秋から翌1873年(明治6年)にかけて、後任の花房義質(外務大丞)が軍艦「春日」により朝鮮に派遣され草梁倭館を接収、さらに三井組による(外務省黙認のもとでの)密貿易が発覚し朝鮮側が厳しい「禁圧」で臨む(この時掲示されたとされる「伝令書」の文言が征韓論建議の直接のきっかけとなった)など悪化の一途をたどり、また日本側でも政府内の征韓論争に端を発して明治六年政変が起こり、1874年(明治7年)初めには征韓を掲げる佐賀の乱が勃発した。
このような情況を憂慮した吉岡は、既に下野した身ながら1874年(明治7年)2月建白書を左院に提出した。この建白書の内容は極めて多岐にわたるが、第6条の「西郷副島諸人を再用し且各府県に民撰小議院を建つることを論ず」では、「征韓論」、あるいはそうでなければ「内地優先論」的非征韓論(すなわち征韓そのものを否定するのではなく、「時期尚早」であるがゆえに反対するもの)が大多数を占めていた当時の状況においては例外的な、原則的・道義的な「征韓不可」の主張が現れている。
すなわちここで吉岡は、一方ではしばしば仮病など遁辞を弄して会見を避ける朝鮮側の不誠実な態度を非難しながらも、世間で噂されるように彼らが「我国書ヲ裂キ(中略)驕慢無礼ノ答書」を突きつけたなどと言う事実はなかったと述べている。さらに朝鮮側が日本との国交樹立に消極的である原因について、過去の豊臣秀吉の朝鮮出兵の経緯や、かつて対馬藩が朝鮮側を恐喝し米穀をせしめていたことなどを挙げ、新政府が書契に「皇」「勅」の字を用いたことで、日本が「虚名ヲ以テ、我ヲ属国ノ体ニ陥レ」るのではないかという、朝鮮側のあらぬ「疑懼」を招くこととなり、その責任は日本側にあるとする。
そして彼は、国交が更新できないことを理由に征韓をおこなうことが正しいならば、鎖国時代の日本をもし西洋人が侵攻していたとしても我々はそれを非難することはできないと述べ、「己ガ欲セザル所、コレヲ人ニ施スコト勿レ」と独善的な征韓論を批判しているのである。 しかし、吉岡のこの建白書が政府により取り上げられた形跡はない。