芳川顕正
続く第2次松方内閣では8日間の間留任し、清浦奎吾に跡を譲った。間の明治27年(1894年)に文部大臣を臨時兼任。明治29年(1896年)には内務大臣も兼任した。
明治31年(1898年)、第3次伊藤内閣で内務大臣に再び就任。次いで第2次山縣内閣で逓信大臣に就任。この年、子爵に叙爵されている。1900年(明治33年)11月28日、貴族院子爵議員の補欠選挙に当選した。
明治34年(1901年)、第1次桂内閣で再び逓信大臣に就任。その後の改造で一旦政府を去るが、明治37年(1904年)には内務大臣として内閣に復帰。明治40年(1907年)、日本花柳病予防協会(現在の性の健康医学財団)設立に伴い初代会長に就任。同年9月21日、伯爵に陞爵したため貴族院子爵互選議員を失職する。明治43年(1910年)から翌年まで國學院大学学長、皇典講究所総裁を務める。
大正元年(1912年)には枢密院副議長に就任するが、大正6年(1917年)に夫のある四女・鎌子がお抱え運転手・倉持陸助と不倫の挙句に心中未遂事件(千葉心中)を起こすという醜聞で枢密院副議長を辞任せざるを得なくなっている。
この間、大正4年(1915年)には南洋協会(異文化コミュニケーション財団の前身)設立に参画し初代会頭となっている。
大正9年(1920年)、腎臓炎のため79歳で死去。
将棋を愛好しており、福沢諭吉、森有礼、服部金太郎らとともに名人小野五平の後援者であった。