让关白之位与丰臣家督职于外甥丰臣秀次，成为秀次的居城，秀吉则以太合身分迁往伏见城，持续实际号令天下。文禄4年（1595年）7月，秀吉勒令驱逐至高野山（和歌山县）出家后的秀次切腹，妻子与家臣大半处决。聚乐第亦于同年8月以降全面拆除，统治中心由聚乐第转移至伏见城。
名称.聚乐第自天正13年（1585年）开始工事准备，正式动工则约始于天正14年2月。兴福寺多闻院僧英俊《多闻院日记》天正14年2月27日（1586年4月15日）条：「去廿一日起内野御构普请。」是为史料记录工事之始。聚乐第之称