衡阳郡，湘乡、连道皆属之。南朝宋武帝永初年间（420~422），连道并入湘乡，双峰全境属之。 隋文帝开皇九年（589），湘乡并入衡山县，隶湘州。唐高祖武德四年（621），从衡山县析出，复置湘乡县，属潭州长沙郡。五代后梁太祖开平元年（907），湘乡县属楚国长沙府。 宋太祖干德元年（963），湘乡复属潭州。元成宗元贞元年（1295），湘乡民至万户升为州，属湖广行省潭州路。文宗天历二年（1329），潭州路改为天临路。 明太祖洪武二年（1369），湘乡州复为县，属潭州府，知县招抚流亡，相继垦复荒田800