军的位子，便由晴季出面，希望能让秀吉做足利义昭的义子，但是遭到义昭的拒绝。于是放弃帮他当上将军的工作，改让他任关白一职，即在朝廷间斡旋、调停的职役。由此看来，晴季在朝廷内是相当受到重视的，而后来他也将女儿嫁给秀吉的外甥，即其养子关白、家督丰臣秀次。然而在文禄四年（1595年）八月，秀次因有谋反嫌疑被囚至高野山，后来自杀身亡，妻妾子女都被杀害。受到秀次事件的牵连，晴季因此失势，被流放到越后。第二年庆长元年（1596年），晴季获得赦免，返回京都。庆长三年（1598年）秀吉去世，同年十二月，晴季回任右大臣。庆