山郡之地属齐国支郡济北郡。汉文帝二年（前178年），分齐国置济北国。汉武帝元狩元年（前122年），济北王将其领地内的泰山附近的土地献给皇帝。武帝以其地置泰山郡，又割济南郡南部数县来属。武帝后元二年（前87年），济北王刘宽自杀，济北国除，其地併入泰山郡。汉成帝绥和元年（前8年），泰山郡治奉高县，属兖州刺史部，领十七县、七侯国：奉高县、博县、茌县、卢县、肥成县、虵丘县、刚县、柴侯国、盖县、梁父县、东平阳县、南武阳县、莱芜县、鉅平县、嬴县、牟县、蒙阴县、华县、宁阳侯国、桑丘侯国、富阳侯国、桃山侯国、桃乡侯）、式侯