文禄元年（1592年）、文禄の役に国綱も参陣した。しかし慶長2年（1597年）、国綱は秀吉の命令で所領を没収されて改易となった。理由は太閤検地に際して結果が秀吉が安堵した18万石ではなくその倍以上という石高詐称によるもの、また当時国綱には継嗣がなかったため、重臣の今泉高光が豊臣五奉行である浅野長政の三男長重を養子に迎えようとしたが、国綱の実弟芳賀高武が反対して今泉を討ち取ったためお家騒動に発展、養子話を潰された長政の面目も丸潰れとなり、長政が秀吉に讒訴して改易に追い込んだとする説がある（『宇都宮興廃記』）。国綱は宇都宮を追放されて備前の宇喜多秀家の下に預けられ、慶長の役では名誉挽回と御家再興のために朝鮮に渡海するも、秀吉が慶長3年（1598年）8月18日に病死したため、再興の道は閉ざされた。