数县置山阳国，国都为昌邑县（县治在今山东省巨野县南昌邑故城址）。汉武帝建元五年（前136年），刘定薨，山阳国除为郡。元朔三年（前126年），鲁王子侯国瑕丘、宁阳来属。天汉四年（前97年），封皇子刘髆为昌邑王，以山阳郡置昌邑国，瑕丘、宁阳别属大河郡。属兖州刺史部。汉昭帝元平元年（前74年），昌邑国除为山阳郡。甘露二年（前52年），改大河郡为东平国，瑕丘侯国别属山阳郡。建昭五年（前34年），徙济阳王刘康为山阳王，复置山阳国。王莽时国除。东汉初，山阳郡为刘永所据。建武十五年（39年），封皇子刘荆为山阳公，十七