年，因国家机构调整，衡山县图书馆与衡山县文化馆合并。1966年春，衡山县湘江以东地区新置衡东县。次年，衡山县文化馆迁入衡东新县城，变成衡东县文化馆。图书馆随之更名。1980年春，衡东县图书馆正式从衡东县文化馆析出，独立门户。1984年11月2日，由邓小平亲笔题额“荣桓图书馆”。
图书馆建设.目前，衡东县荣桓图书馆占地面积 4.9亩，馆舍面积 3138.26平方米，是一幢古典式四合院建筑。到1998年止，馆内干部职工11人。图书馆拥有总长4269.8米的书架，馆藏图书74138种