书院是由彭玉麟支持修建，并亲聘国学大师王闿运任山长。衡州三塔之一的珠晖塔由在光绪年间由王之春倡建。不同时代的人物之间也可能存在着亲戚关系如王之春为王夫之的七代孙，唐浩明为唐振楚之子等。近代以来的着名人物包括：共产党政治人物：夏明翰、罗荣桓、伍若兰、滕文生、伍绍组等。国民党政治人物：唐群英、唐振楚、马鹤凌、马英九、刘兆玄等。作家：琼瑶、洛夫、龙应台、唐浩明等。书法家：曾熙、欧伯达等。画家：管锄非、黎政初等。体育：李敬、凌洁、何世剑、刘玉香、罗洗河、董斌、柴飚等。演员：伍宇娟