由此看来，晴季在朝廷内是相当受到重视的，而后来他也将女儿嫁给秀吉的外甥，即其养子关白、家督丰臣秀次。然而在文禄四年（1595年）八月，秀次因有谋反嫌疑被囚至高野山，后来自杀身亡，妻妾子女都被杀害。受到秀次事件的牵连，晴季因此失势，被流放到越后。第二年庆长元年（1596年），晴季获得赦免，返回京都。庆长三年（1598年）秀吉去世，同年十二月，晴季回任右大臣。庆长八年（1603年）正月，辞去右大臣之职。元和三年（1617年）三月二十八日卒，享年七十九岁。法名景光院月叟常空，墓在京都上京区的上善寺。