智寺昇格为第五位，同时在第五位加上鎌仓净妙寺、京都万寿寺，共计4寺，京都和鎌仓各选定5寺为五山。之后，3代将军足利义满的时代，因管领细川赖之的请求，五山加入临川寺 （永和3年（1377年）- 康历元年（1379年）），但是，康历政变后，赖之失势后又删除。至德3年（1386年），义满接受义堂周信・绝海中津等人的意见改革五山制度，将南禅寺定为「五山之上」的全禅林的最高位，足利将军家的菩提寺相国寺取代南禅寺加入「五山」，并分割五山成京都五山和鎌仓五山。两五山的格式至此固定直到现在。