，聚乐第也成为秀次的居城。天正20年1月26日－28日（1592年3月9日－3月11日），后阳成天皇再次行幸，短期内天皇两度行幸同一地，实为日本史中所罕见。但是，丰臣秀赖诞生后，文禄4年（1595年）7月，秀吉勒令驱逐至高野山（和歌山县）出家后的秀次切腹，妻子与家臣大半处决。聚乐第亦于同年8月以降全面拆除。
废城后.聚乐第拆除后，大半的建筑物迁建至伏见城，但不久毁于庆长元年7月12日（1596年8月5日）深夜的庆长伏见地震。此外，西本愿寺飞云阁、大德寺唐门、妙觉寺大门、妙心寺