记载的历史上溯至3544年前（即公元前1542年）。春秋时期着名的齐晋“鞍”之战发生在市北的马鞍山一带。中国首部诗歌总集《诗经》中的一首名叫《大东》的诗词，是现存最早的一篇有关济南的文献。汉代公元前164年设立济南国，公元前154年又废国改郡。汉灵帝时，曹操曾任济南相。西晋永嘉（307～312年）年间，济南郡治由东平陵移至历城。
中世史.隋高祖开皇三年（583年），改济南郡为齐州。这段时期济南的佛教比较兴盛，留有千佛山、灵岩寺、千佛崖石窟造像、四门塔（中国现存最古老的石塔）等佛教遗