豐臣秀賴
但是，豐臣秀賴誕生後，文祿4年（1595年）7月，秀吉勒令驅逐至高野山（和歌山縣）出家後的秀次切腹，妻子與家臣大半處決。聚樂第亦於同年8月以降全面拆除。