书院由南岳书院演变而成。
唐朝时期.唐朝时期，担任过宰相的邺侯李泌晚年在衡山隐居，居于烟霞峰下的端居室。之后李泌的儿子李繁为纪念父亲，在集贤峰麓建南岳书院。
宋元时期.宋朝时期，端居室已经变废址。宋理宗宝庆年间，运使张嗣可在旧南岳书院的原址上改建，取名为邺侯书院。元惠宗至正五年，县尹赵忠、主簿李伯渊又对邺侯书院进行重修。
明清时期.明初兵乱，邺侯书院全部倒塌。明朝嘉靖十三年邺侯书院再次重修，改名为集贤书院。明朝万历年间