宇都宮藩
文禄元年(1592年)、文禄の役に国綱も参陣した。しかし慶長2年(1597年)、国綱は秀吉の命令で所領を没収されて改易となった。理由は太閤検地に際して結果が秀吉が安堵した18万石ではなくその倍以上という石高詐称によるもの、また当時国綱には継嗣がなかったため、重臣の今泉高光が豊臣五奉行である浅野長政の三男長重を養子に迎えようとしたが、国綱の実弟芳賀高武が反対して今泉を討ち取ったためお家騒動に発展、養子話を潰された長政の面目も丸潰れとなり、長政が秀吉に讒訴して改易に追い込んだとする説がある(『宇都宮興廃記』)。国綱は宇都宮を追放されて備前の宇喜多秀家の下に預けられ、慶長の役では名誉挽回と御家再興のために朝鮮に渡海するも、秀吉が慶長3年(1598年)8月18日に病死したため、再興の道は閉ざされた。
国綱は慶長13年(1608年)に死去した。息子の義綱は水戸藩主徳川頼房の家臣となり、その子孫も水戸藩に仕えた。
元治元年(1864年)3月、前年着工の諸陵竣工、後堀河天皇陵および泉涌寺陵着工。同年4月に清寧天皇陵 、仁賢天皇陵着工、5月に仲哀天皇陵以下4陵および深草天皇陵着工、6月に懿徳天皇陵以下5陵が着工。7月に後醍醐天皇陵以下3陵、8月に安寧天皇陵以下12陵、11月に孝霊天皇陵以下8陵に着工。着工は元治2年(1864年)1月の天武・持統天皇陵(合葬)を最後に、同年12月から元治2年(1895年)2月、3月にかけて竣工した。慶応元年(1865年)4月30日に畿内地方および丹後地方にある山陵と御火葬所・分骨所109か所の修補完成を朝廷に報告、5月に1陵、7月に1陵、8月に5陵、9月に4陵、11月に3陵、12月に8陵が竣工し、調査中の14陵を除いて工事は終了した。なお、この工事費用は文久2年(1862年)10月14日、幕府から山陵御修補の建白の許可とともに5千両が下付されたほか、川村伝左衛門から1万5千両を借用したが、不足分は宇都宮藩が負担したため、藩の財政は逼迫した。
版が山陵修補事業に取り組んでいた中、元治元年(1864年)に天狗党の乱が起こり、4月に天狗党が宇都宮にやって来た。この時、宇都宮藩は日光の守備、家臣の山陵派遣などで兵が少なかった。天狗党の藤田小四郎は山陵奉行などで尊王が強い戸田家を味方にしようとしたが、中老の県勇記が巧みな交渉を行って協力を拒否、天狗党の日光参詣を認めるという条件で穏便に処理した。この間、藩主の忠恕は在府していたが、主導的役割を果たしたのは全て県であった。