为大河郡。元封五年（前106年），置十三刺史部，大河郡属兖州刺史部。天汉四年（前97年），山阳郡改置为昌邑国，所领宁阳、瑕丘二侯国改属大河郡。汉宣帝甘露二年（前52年），立皇子刘宇为东平王，改大河郡为东平国，宁阳侯国改属泰山郡，瑕丘侯国还属山阳郡。汉成帝建始二年（前31年），削亢父、樊二县，别属山阳郡。河平元年（前28年），归还亢父、樊二县。鸿嘉元年（前20年），推恩置栗乡、桑丘二侯国，别属山阳郡、泰山郡。鸿嘉二年（前19年），推恩置桃乡侯国，别属泰山郡。鸿嘉三年（前18年），推恩置富阳侯国，别属泰山郡