东汉称琅玡国，治所进一步西移到开阳（今临沂市范围）。西晋、隋朝时均保留，治所也始终在今天临沂范围。唐代时废除，郡地改称沂州，琅玡之名继而消失。三国名相诸葛亮的故乡琅玡阳都，就是今天的临沂市沂南县。
其它.历史上另有一处琅玡在东晋首都建康（今江苏省南京市）附近，因东晋的开国皇帝元帝司马睿任琅玡王期间曾于此避难而得名。这处琅玡山现在是安徽省滁州市境内的风景区。