松方正義
1896年，松方正義組成第2次松方内閣，高橋在陸羯南的推薦下獲任命為内閣書記官長。但不久後陸羯南就在『二十六世紀』刊登「宮内大臣論」（由日本轉戴），其中批評時任宮內大臣土方久元專橫。內務省知道後就下令『二十六世紀』於11月14日停止發行以作處分，另外支持該篇論文的日本、萬朝報及國民新聞也遭到處分。高橋得悉後感到十分憤慨，並試圖修改新聞紙條例，禁止處份任何新聞。進步黨支持高橋的做法（他也是該黨成員之一），因而引起激烈討論。黑田隆清出手收拾了該次事件，接受了高橋的要求。翌年10月，高橋健三正式脫離進步黨，但同時他也辭去官職。