齐国军队曾自此发兵攻打鲁国，公元前555年，晋国联合多路诸侯伐齐，并在今平阴境内爆发平阴之战，最终齐国大败。秦代今平阴县先后属东郡、济北郡。西汉时期，分属泰山郡卢县、东郡东阿县和东平国富城县。东汉年间，今平阴县境分属东郡谷城县、济北国平阴县和东平国。曹魏至西晋太安二年，平阴县大部分属兖州济北国，而今平阴县东南少部分属东平国。永嘉之乱后、今平阴先后属后赵、前燕、前秦、后燕、南燕。刘裕平定南燕后，将平阴县并入卢县，属兖州济北郡，北魏占领此地后改属济州，此时境内有谷城县。隋朝开皇十六年，设置榆山县。大业二