勒令驱逐至高野山（和歌山县）出家后的秀次切腹，妻子与家臣大半处决。聚乐第亦于同年8月以降全面拆除。
废城后.聚乐第拆除后，大半的建筑物迁建至伏见城，但不久毁于庆长元年7月12日（1596年8月5日）深夜的庆长伏见地震。此外，西本愿寺飞云阁、大德寺唐门、妙觉寺大门、妙心寺播桃院玄关等，相传也是自聚乐第移筑，但是没有具体佐证，因此研究者间认为聚乐第的建筑物并无留存至今者。聚乐第的故址空地，庆长、宽永期（16世纪末至1640年）是劝进能等演艺活动的盛地，17世纪中期以降方逐步开辟成