汉初年划入泰山郡。自羊祜之后，泰山羊氏一脉均称「泰山南城人」，亦源出于此。不过西晋文人傅畅和夏侯湛亦称「太山平阳人」。《魏书·羊深传》里的羊深亦被载为「太山平阳人」，但据《魏书》殿本考证所指，晋代平阳县在高平郡，因此「太山平阳」的记载应该有误。《魏书》殿本考证亦指「羊氏本泰山南城人，羊祜封鉅平侯，后人或称鉅平，或称梁父」，如是者后世所谓「鉅平羊氏」、「梁甫（或梁父）羊氏」的指向都可能是南城羊氏。