上秀吉和秀长，甚至比不上儿子秀次，现存亦有秀次的书状形容为「像是年老衰退一样」（）、「不可靠」（）等内容。虽然诞下许多儿子，但是全部都比吉房先死。文禄4年（1595年），秀次因得罪秀吉而被赐死，一家三十九人被灭族，吉房侥倖没被处死，但亦遭到连坐，处以流放讃岐。在秀吉死后，吉房被赦免而返回京都，在庆长5年（1600年）于本圀寺中建立一音院来凭弔秀次等枉死儿子的菩提寺。在庆长17年（1612年）死去。享年90岁。