1890年（明治23年）、矢野は『郵便報知新聞』に「新型軍艦「海王丸」「浮城」に乗った日本人一行が、東南アジアで小国の独立運動に協力してオランダ・イギリス軍と戦う」という内容のSF海洋冒険小説『報知異聞』（単行本化時に『報知異聞 浮城物語』に改題）を連載する。南進論の勢いが強くなっていた当時の世情を反映した同作は読者からは好評であったが、内田魯庵、石橋忍月は「人間が描けていない」などとしてこれを批判した。これに対し矢野は、稗史小説には「人を悦ばしむる」が重要であり、副産物として「日本の盛衰存亡」「海外の風土、尋常、物産」「理科学の貴むべき」「偉人傑士の風采」を知らしめるなどとして反論。森鴎外は『ロビンソン・クルーソー』やジュール・ヴェルヌの諸作にもならぶ傑作だとして矢野を擁護し、またかねて矢野と文学観を共にしていた徳富蘇峰や森田思軒も擁護にまわった。柳田泉はこの論争を「明治文壇史上、最初の文壇対大衆文学の論争であったといって可い」としている。最終的に論争に嫌気が差した矢野は、予定していた続編（アラビア、南アメリカ、南極などにも舞台が及ぶ大長編になる予定であった）の執筆をやめてしまうことになった。しかし、この論争自体とは別に、『浮城物語』は当時14歳だった押川春浪に大きく影響を与えており（押川がデビュー前に著した習作には、『浮城物語』の影響が強く見られる)、これが押川のデビュー作『海底軍艦』へとつながった。『海底軍艦』をはじめとした押川の諸作は阿武天風や山中峯太郎など、同じ、もしくは後の時代の冒険小説作家に大きく影響を与えていることから、『浮城物語』はこれら冒険小説のルーツとみなすこともできる。
1899年（明治32年）以降は政界から身を退くが、社会主義に関心を持ち、1901年（明治34年）に田川大吉郎、加藤時次郎らと「社会問題研究会」を設立。1902年（明治35年）には「自分は社会主義者である」と宣言。資本主義と社会主義の調和を説く、ユートピア小説とも言える『新社會』を発表する。更に田島錦治、徳富猪一郎、三宅雄二郎、山路愛山らと共に、社会主義に関する多くの講義を行う。1902年（明治35年）に国木田独歩を推薦して「敬業社」に入社させ、1903年（明治35年）に「敬業社」から改名した近事書報社の顧問となり、編集主任の国木田に助力。以後「出鱈目の記」など多くの論説を『近事書報』、『婦人書報』誌などに掲載した。1904年（明治37年）の日露戦争開戦により誌名を『戰時書報』に改名。1906年（明治39年）には本山彦一の引きで、『大阪毎日新聞』に入社。相談役、後に監査役、副社長となり、小説『不必要』を『毎日電報』に連載した他、多くの随筆や政論を発表している。1926年（大正15年）に乗用車が京王線の電車と衝突し重傷を負う。1931年（昭和6年）に豊多摩郡千駄ヶ谷町の自宅で尿閉症のため死去、多磨墓地に葬られた。
しかし、1888年（明治21年）には新聞経営の第一線から一時身を引き、1889年（明治22年）には政界引退を発表。新聞用達會社（後の帝国通信社）設立し、第一回帝国議会の開会式には議会開設と同時に自ら求めて宮内省に入り、明治天皇の侍従として参列。1890年（明治23年）に宮内省御用掛となり、翌年には皇族令取調委員、1892年（明治25年）に帝室礼式取調委員、その翌年には式部官となる。日清戦争に際して、1897年（明治30年）に外務大臣であった大隈の要請で清国特命全権公使に就き、2年間北京に滞在し、日清戦争後における清国外債借入問題を処理した。この功により勲三等旭日中綬章。在官中、李鴻章との交游極めて親密であったため、日清戦争が終わった翌年の1896年（明治29年）には日本国で初めて清国留学生を受け入れ、清朝政府が選抜した十三人の官費留学生が試験的に派遣されてきた。2年後の1898年（明治31年）には駐清国全権大使の矢野が清国政府に継続的な留学生の派遣を説き、1900年（明治33年）に「文部省直轄学校外国委託生ニ関スル規程」、1901年（明治34年）に文部省令第十五号「直轄学校外国人特別入学規程」が発布されて、日本留学の道が開かれた。ただ、過去に矢野は『郵便報知新聞』に日清海軍を比較して海軍拡張の急務を説き、1887年（明治20年）には集成社の『東洋之安危』（藤野房次郎著）の序文で北進論に繋がる東洋戦略を述べてもいる
おどろくべき十字架を見る時、その栄光の君の死を。私の利益は、損失となり、私自身のプライドを軽蔑します。禁じてください、主よ、誇ることを、私の神である救い主キリストの死のほかには。魅力があるすべてを空しいものとして、主のいけにえの血に捧げます。主の頭、主の手、主の足から、悲しみと愛がまざって流れ落ちる、悲しみと愛の出会い、いばらで作られた貴い冠。死に渡される主の深紅の血を、ローブの様に、十字架の木の上にかけられた 主が体にまとわれる。私はすべて世の事柄に対して死に、すべて世の事柄は私に対して死んでいます。世界のすべてが私のものであったとして、それをささげても小さなものにすぎず、驚くべき愛、聖なる愛は、私の魂、私の生命・生涯、私のすべてを求めます。＜別訳（意訳）＞神の御子が死に渡された、その栄光である十字架に至るとき、私にとって最も富財であったものはもはやそうでなくなり、それらが己のプライドのための何と貧祖な試みであったかがわかる。己を誇るすべて（それら貧祖な試み）から、解放してください、主よ。わが主キリストの十字架の死によって私を活かし、その流された血ゆえに、それまで私を魅してやまなかったすべての事柄を、主よ、あなたへの捧げ物としてお返しいたします。見よ、御子の頭を、手足を。心の痛みと愛とが混ざり合って溢れ流れ落ちている。これまでに、これほどにまでの心の痛みと愛というものが出会ったことがあっただろうか！？あるいは、こう言ってもいいだろう。茨のとげというものが、王冠をこれほどまでに豊かに彩ったことがあったであろうか。死に渡されたその御体の深紅の血潮がローブで包みこむようにその御体と十字架を覆いつくしている。その御姿を想うとき、私は世に死すことで世に勝ち、世というものはもはや私の中で死して勝ち得なくなる。たとえこの世の全てが私のものであったとしても、もはや、御子の十字架の前に至った私には無きに等しい。その真のすばらしい愛に、その真の聖さ（きよさ）ゆえに、私の魂を、私の人生を、そして私のすべてをお引き受けください。