妃子娥皇、女英葬于此，屈原在《九歌》中称之为湘君和湘夫人，故后人将此山改名为君山。
古籍记载.《史记·五帝本纪》记载：黄帝南至于江，登熊、湘。北逐荤粥。湘，即湘山也。【集解】地理志：湘山在长沙益阳县。《括地志》：湘山一名艑山，在岳州巴陵南十八里也。《史记·秦始皇本纪》：始皇二十八年 (前219)，“浮江，至湘山祠。逢大风，几不得渡。上问博士曰：‘湘君何神?’博士对曰：‘闻之，尧女，舜之妻，而葬此。’于是始皇大怒，使刑徒三千人皆伐湘山树，赭其山。”《水经注》谓之君山。唐《史记正义