臣秀吉逐步统一日本后，将统治中心从大坂城迁移至此，天正19年12月28日（1592年2月11日），秀吉让关白之位与丰臣家督职于外甥丰臣秀次，成为秀次的居城，秀吉则以太合身分迁往伏见城，持续实际号令天下。文禄4年（1595年）7月，秀吉勒令驱逐至高野山（和歌山县）出家后的秀次切腹，妻子与家臣大半处决。聚乐第亦于同年8月以降全面拆除，统治中心由聚乐第转移至伏见城。
名称.聚乐第自天正13年（1585年）开始工事准备，正式动工则约始于天正14年2月。兴福寺多闻院僧英俊《多闻院日记》天正1