泰山郡，驻地分别在今老城街道和汶阳镇东南，西南部则属东平国富城县。更始年间，肥城邑人刘诩与东平人子路在卢县起兵。东汉初建制延续西汉，汉章帝时撤销肥城县，分属济北郡卢县、蛇邱县和东平国富城县，此建制一直持续到东晋。之后今肥城先后归属后赵、前燕、前秦、后燕、南燕等政权管辖。刘裕北伐后，重设济北郡于肥城县。山东降于北魏后复置肥城县，在肥城老城设置东济北郡，北齐时东济北郡并入济北郡，北周又设置肥城郡。隋朝初年，肥城郡废除，隶属济州，后肥城县亦废，属于济北郡。南部一带则先后属鲁郡和兖州。公元622年，再置肥城县，