触怒秀吉，受被派遣而至的军目付熊谷直盛、福原直高质问，并被命令返回名护屋城。此时，剃髪并号宗严。大友家由历史久远的名家一夕败亡。终于5月1日被改易，大友领地丰后、丰前的宇佐半郡变成丰臣家的直辖领地，后来变成丰臣家奉行等的领地。此后，依次被幽闭在武藏国江户（德川氏）、常陆国水户（佐竹氏）、周防国山口（毛利氏）等地。旧大友家的有力家臣们都为了大友家再兴，而成为其他大名的客将。
秀赖时代.庆长3年（1598年），因为秀吉死去，翌年（1599年），被赦免罪行，于是脱离幽闭状态。在大坂城