祠与石鼓书院都没有很多联系，但是由于这两位英雄的事迹都发生在石鼓山，遂将其移至石鼓书院。武侯祠为纪念诸葛亮而建。诸葛亮以军师中郎将驻临然即今衡阳，相传住在石鼓山上。后来人们在临然驿旁建武侯祠以供祀享。宋代重修石鼓书院时，将武侯祠移至石鼓山。南宋理学家张栻曾作《武侯祠记》，并亲笔勒石立碑。李忠节公祠为纪念李忠节的高风亮节而建。李忠节公名李芾，字叔章，南宋衡州人。南宋德祐元年（1275年），元军将犯，李芾临危受命，任潭州（今长沙）知州兼湖南安抚使，率领军民抗击元军三月有余，城破，举家殉国。元代在衡州城南金