后来为了长生不老让徐福在此起航东渡求长生不老之药而一去不复返，据说因此开创了日本文明。秦置琅玡郡，治所在琅玡县，郡的范围包括山东半岛东南部。曾建琅琊台。西汉其治所迁移到东武（今潍坊市诸城市）。东汉称琅玡国，治所进一步西移到开阳（今临沂市范围）。西晋、隋朝时均保留，治所也始终在今天临沂范围。唐代时废除，郡地改称沂州，琅玡之名继而消失。三国名相诸葛亮的故乡琅玡阳都，就是今天的临沂市沂南县。
其它.历史上另有一处琅玡在东晋首都建康（今江苏省南京市）附近，因东晋的开国皇帝元帝司马睿