592年2月11日），秀吉让关白与丰臣家督职于外甥丰臣秀次（姊‧日秀之子，时年23岁），聚乐第也成为秀次的居城。天正20年1月26日－28日（1592年3月9日－3月11日），后阳成天皇再次行幸，短期内天皇两度行幸同一地，实为日本史中所罕见。但是，丰臣秀赖诞生后，文禄4年（1595年）7月，秀吉勒令驱逐至高野山（和歌山县）出家后的秀次切腹，妻子与家臣大半处决。聚乐第亦于同年8月以降全面拆除。
废城后.聚乐第拆除后，大半的建筑物迁建至伏见城，但不久毁于庆长元年7月12日（159