Храмът е издигнат на мястото на предишния Пантеон, построен два века по-рано през 27 – 25 г. пр. Хр. от римския консул Марк Випсаний Агрипа по време на третото му консулство в чест на победата при Акциум през 31 г. пр. Хр. От тази първа сграда се е запазил само портикът. На фронтона на портика е изписан надпис на латински език: „M·AGRIPPA·L·F·COS·TERTIVM·FECIT“ (съкращение от „Marcus Agrippa, Lucii filius, consul tertium fecit“, тоест „Марк Агрипа, син на Луций, консул за трети път, построи това“). Постройката на Марк Агрипа изгаря по време на големия пожар през 80 г. Пантеонът е възстановен от император Домициан, но и втората поред сграда изгаря в пожар през 110 г. Изграждането на сегашната сграда започва през 118 г. и завършва през 126 г. при император Адриан. Предполага се, че строителните работи са се ръководели от архитекта Аполидор Дамаски.