平阴县先后属东郡、济北郡。西汉时期，分属泰山郡卢县、东郡东阿县和东平国富城县。东汉年间，今平阴县境分属东郡谷城县、济北国平阴县和东平国。曹魏至西晋太安二年，平阴县大部分属兖州济北国，而今平阴县东南少部分属东平国。永嘉之乱后、今平阴先后属后赵、前燕、前秦、后燕、南燕。刘裕平定南燕后，将平阴县并入卢县，属兖州济北郡，北魏占领此地后改属济州，此时境内有谷城县。隋朝开皇十六年，设置榆山县。大业二年，榆山县改称平阴县，属济北郡。唐朝武德四年属济州。贞观元年，属河南道郓州。开元二十九年属河南道济州。大和六年，平阴县