元461年，南朝宋大明5年，高僧辟支和尚曾在牛首山西峰南坡山洞里修行过，辟支和尚住过的山洞称辟支佛洞，又叫佛窟洞，牛首山当时被称为仙窟山。公元503年，南朝梁天监2年，司空徐度于佛窟寺（今宏觉寺），该寺位于牛首山南。公元643年，唐贞观17年，法融禅师接受禅宗四祖道信之点拨，于幽栖寺北岩建立茅茨禅室并创立牛头禅宗，后授徒传法。公元774年，唐大历9年，牛首山建成宏觉寺塔，又称之为唐塔。公元943年，南唐李昪与他皇后宋氏的“钦陵”、中主李璟与他皇后钟氏的“顺陵”安葬于牛首山南麓，并称为南唐二陵