תאוריה אחרת הציעה כי האתר תפקד בתחילה כמתחם סגידה פתוח (templum בלטינית) ולא כמבנה סגור. מתחם זה הגדיר מרחב קדוש שאת גבולותיו אין לשנות. דבר המסביר מדוע כאשר אדריאנוס בנה מחדש את המבנה, הוא דבק בגבולות הללו. עם זאת, חפירות ארכאולוגיות שבוצעו בין השנים 7–1996 הראו כי הפנתאון של אגריפה היה למעשה בעל אותה אוריינטציה לכיוון צפון, על ציר צפון-דרום וכי תוכניתו הייתה דומה למדי לזה של אדריאנוס, למעט שינויים קטנים. הפרונאוס בפנתאון של אגריפה היה רחב יותר והרוטונדה שלו לא הייתה מקורה בגג מבטון אלא הייתה בעלת גג מעץ, יש לשער בצורת חרוט. כמו כן, חפירות אלו חשפו כי הכניסה למבנה הייתה משני מהלכי מדרגות צידיים ובמרכזה, במה לנאומים.
מידע נוסף אודות הפנתאון של אגריפה מספק פליניוס הזקן המספר ביצירתו "תולדות הטבע" (Naturalis Historia) כי הפנתאון קושט על ידי דיוגנס מאתונה (Diogenes of Athens) וחלק מן העמודים שתמכו במקדש היו קריאטידות. ארכאולוגים מאמינים כי אלו מוקמו בחזית הפרונאוס, אשר קושט בכותרות עמודים מברונזה מהעיר סירקוסאי.
הפנתאון של אגריפה עמד על תילו עד שנת 80 לספירה, עד אשר נפגע בדליקה אשר פרצה בזמן כהונתו של הקיסר טיטוס. זמן קצר לאחר מכן, המבנה שופץ ושוחזר על ידי הקיסר דומיטיאנוס. בתקופתו של טראיאנוס המבנה נפגע מברק ועלה באש בפעם השנייה. לכן, בנה אדריאנוס את המבנה מחדש לחלוטין.
הפנתאון של אדריאנוס.
עד היום, לא ברור בדיוק מי האדריכל שהיה אחראי על המבנה הנוכחי ומקובל לשייך את בנייתו לתקופת שלטונו של אדריאנוס, בין השנים 118–128. עם זאת, ליזה הרלנד (Lise Herland), מראה במחקרה כי בחינה מחודשת של הלבנים במבנה מולידה מסקנות אחרות בנוגע לתארוך תחילת בנייתו של הפנתאון הנוכחי. מסקנתה היא שייתכן מאוד שהמבנה תוכנן והחל להיבנות בשלהי תקופת שלטונו של טראיאנוס. על כן, ישנה השערה לא מבוססת כי אפולודורוס מדמשק, אשר עבד תחת טראיאנוס, היה האדריכל האחראי של קונספט המבנה. כמו כן, ייתכן שההקדשה בחזית הפרונאוס, איננה העתק של ההקדשה המקורית, אלא נבחרה על ידי אדריאנוס כדי לכבד את יוזמו ומקימו של הפנתאון הראשון, שכן אגריפה לא היה מציג את עצמו כקונסול בפעם השלישית, תואר שהופיע על גבי מטבעות רק לאחר מותו.
בכל אופן, הפנתאון המחודש הוצב כשבקדמתו שני מבני פורטיקו מקבילים אשר תחמו חלל פורום חדש ובניהם מבנה שער מפואר. פורום זה היה תואם לרוחבו של פורום אוגוסטוס, כ-60 מטר, אולם אורכו היה פי שניים ממנו, כ-150 מטר. עומקו של הפורטיקו מכל צד היה כ-4.6-6 מטר והיה מוגבה כ-1.8 מטר מעל פני הריצוף של הפורום עצמו. אותם עמודים בפורטיקו היו גרסאות מוקטנות של העמודים בפרונאוס של הפנתאון, עם מוטיבים זהים של בסיסים וכותרות מן הסדר הקורינתי. צידו המערבי של הפורטיקו הפריד בין הפורום ובין מרחצאותיו של נירון והפורטיקו המזרחי חבר למתחם סגור שהקים יוליוס קיסר לצורכי הצבעה (Saepta Julia). במרכזו של הפורום, על הציר שחוצה את דלתו הקדמית של הפנתאון, היה מבנה שדמה לקשת ניצחון ופיאר את הקיסר כמפרנסה הנדיב של האימפריה (Arcus Pietatis).
בשנת 202, הפנתאון עבר שיקום על ידי ספטימיוס סוורוס ובנו קרקלה (בשמו המלא מרקוס אורליוס אנטונינוס), כפי שמלמד כיתוב נוסף שנמצא על גבי הארכיטרב בחזית המבנה:
משמעותו:
מעט מאוד ידוע על התקופה שבין העת העתיקה המאוחרת לבין הסבת הפנתאון לכנסייה. בשנת 398 הקיסר הונוריוס חוקק איסור על בניית בקתות ומבנים פשוטים במתחם שדה מרס, שהיה בעבר המתחם המפואר והייצוגי ביותר בעיר. מצבם הרעוע של המבנים בכל סדר גודל, הצפות נשנות והפסקת שירותי הסניטציה בעיר, עם שירותים ציבוריים נוספים, כל אלו הביאו לעליית מפלס הקרקע סביב הפנתאון בהדרגה ולאיבוד אחד ממרכיביו הבולטים, פודיום עליו עמד הפרונאוס.
הייתה זו תקופה חשוכה בעיר רומא, עם העברת מרכז השלטון של האימפריה לקונסטנטינופול בשנת 330. כתוצאה מכך, הכסף וכוח האדם שזרמו בעבר לעיר, חדלו מלהגיע, ממדי רומא התכווצו בחלוף המאות לכדי כפר קטן והמונומנטים מעברה המפואר של האימפריה נותרו כעזובה.
הפנתאון לאחר העת העתיקה.
במאה ה-7 ביקש האפיפיור בוניפקיוס הרביעי מפוקאס, קיסר האימפריה הביזנטית, להשתמש במבנה ככנסייה. במרבית המקורות שבידינו, נטען שהתאריך להסבתו של המבנה הוא 609. אולם, מחקרו של סיבלה דה בלאו (1994 ,S. de Blaauw) בנושא מציע כי למעשה המבנה הוסב רשמית לכנסייה ב-13 במאי 613, לאחר מותו של האפיפיור. באמצע המאה ה-7 הפנתאון כונה "כנסיית מרים הקדושה של הקדושים המעונים" (Santa Maria ad Martyres) ובמחצית השנייה של המאה השמינית מאוזכר כ-Sanctae Maria Rotundae. העובדה כי המבנה המשיך להיות בשימוש על ידי הכנסייה בתקופת האימפריה הביזנטית, הבטיחה את שרידותו. הכנסייה אומנם ביצעה שינויים בחלק מפרטי הבנייה המקוריים של הפנתאון אך החסות שפרשה עליו הבטיחה תחזוקה וטיפול מינימליים אשר היו נחוצים לשמירתו עד אשר בוצע בו שימור ראוי יותר בעת המודרנית. חזקתו של מוסד האפיפיורות על הפנתאון החלה עם הקדשת המבנה מחדש לדת הנוצרית והמשיכה אל תוך המאה ה-19.
בשנת 663, בעת ביקורו בעיר, הסיר קונסטנס השני, קיסר האימפריה הביזנטית, את רעפי הברונזה המוזהבת שעל גג כיפת הרוטונדה ואלו נגנבו בדרכם לקונסטנטינופול, על ידי שודדי ים ערבים בסיציליה. בינתיים הוסיפו לערוך במבנה שינויים ונפתח מעבר בין הנישה הדרומית והראשית (דמוית אפסיס) לנישה הסמוכה לה ממערב, דרך אחד העמודים, ללא מודעות לתפקידו ההנדסי בנשיאת עומסים.
במאה ה-8 כוסתה הכיפה בלוחות עופרת ואלו חודשו בתכיפות עד לעת החדשה המוקדמת. בתקופת הרנסאנס, לוחות אלו קיבלו תשומת לב מיוחדת, כפי שיעידו הקדשות שניתן עדיין לאתר על גג כיפת המבנה, ביניהן של האפיפיור ניקולס החמישי (1447–1455).
במאה ה-12 נבנה על צירה המרכזי של חזית המבנה מגדל פעמונים והוחלף בתחילת המאה ה-17 בזוג מגדלים, כנראה על ידי קרלו מדרנו (Carlo Maderno) ו-פרנצ'סקו בורומיני (Francesco Borromini), ולא על ידי ברניני כפי ששוער בעבר.
בשנת 1591, יוחס לג'אקומו דלה פורטה (Giacomo della Porta) את התכנון לסגירת האוקולוס בזיגוג זכוכית, במטרה למנוע את כניסת מי הגשמים למבנה, אולם יותר מאוחר נתגלו השרטוטים לפרויקט הנזכר לעיל, שלא בוצע מעולם, בסטודיו של ברניני. האפיפיור אלכסנדר השביעי, שאף לעטר את היקפו של האוקולוס בהקדשה ואת הפאנלים השקועים בסמלו (coat of arms), פרויקט שיוחס לביצועו של קרלו פונטנה (Carlo Fontana). חלק מהעיטורים הללו אכן בוצעו כפי שניתן להסיק מעדויות שנמצאו, בנוגע לתשלום על הסרתם בין השנים 1667–1669, ביוזמתו של האפיפיור קלמנס התשיעי.
תיאורים שונים של המבנה, ביניהם איורים, הדפסים ומפות, מצביעים על המבנה במצבי פיתוח שונים לאורך השנים. באחד מהם נראות חנויות בחזיתו של המבנה, בין עמודי הפרונאוס. גם מבחינת עיצוב עירוני ניחנו שינויים ומן המאה ה-16 ואילך: הרחבה הפתוחה שהייתה בעבר בחזית הפנתאון, על קולונדת העמודים שלה, מן העת העתיקה, הלכה והצטמצמה עד למצבה הנוכחי של פיאצה דלה רוטונדה (piazza della Rotonda). בשלב מסוים, צידה המזרחי של מרפסת העמודים בחזית קרס ותוקן על ידי האפיפיור אורבנוס השמיני, סביב 1620, והאפיפיור אלכסנדר השביעי, סביב 1660. ניתן לראות את מקום התיקון בכותרות העמודים והאנטבלטורה משמאל לכניסה לפרונאוס.
עם זאת, האפיפיור אורבנוס השמיני היה זה אשר הסיר במאה ה-17 שתי טונות של ברונזה עתיקה ממערכת התמיכה של גג הפרונאוס. היה זה לטובת יציקת תותחים למבצר סנט אנג'לו ועיטור חופת המזבח של בזיליקת פטרוס הקדוש בוותיקן. מעשה זה זיכה אותו בזיהוי שם משפחתו משפחת ברבריני עם שבטי הברברים מן העבר שתקפו והרסו את העיר, דבר שהוליד את האימרה המפורסמת:
על פי מקורות מן המאה ה-18, האפיפיור אלכסנדר השביעי, שהיה פטרונו של ברניני, ביקש ממנו בשלוש הזדמנויות שונות לשנות את פנים קירותיה העליונים של הרוטונדה. בכל פעם ברניני סרב, אמר שלכל היותר יצייר מחדש את עמודי הפילסטר העליונים ותירץ את עמדתו בטענה שהחלפת חיפוי האבן תהיה יקרה מידי. הסיבה האמיתית לסירובו היה זיהויו של הקשר בין מקצב עמודי הפילסטר בחלקה העליון של הרוטונדה לבין מקצב עמודי התמך והנישות שבחלקה התחתון.
בסופו של דבר, עמדתו של ברניני נזנחה והאפיפיור בנדיקטוס השלושה עשרׁ (Benedict XIII) שכר את שירותיו של האדריכל פאולו פוזי (Paolo Posi) לעיצובה מחדש של עליית הגג ברוטונדה. עבודת התיקון הונחה בידיו של אנטוניו בלדני (Antonio Baldani), מומחה לעתיקות מטעם האפיפיורות, על רקע התחלת התפוררותו של חיפוי האבן שלה בשנת 1753. בלדני היה משוכנע שעיטור חלקה העליון של הרוטונדה לא היה עתיק וייחס אותו לתקופה שבה הוסב הפנתאון לבית תפילה נוצרי במאה ה-7. הנחה זו הייתה מבוססת על קביעתו כי עיצובה של הרוטונדה לא היה על פי קומפוזיציית הסדר הקלאסי. למעשה, הקומפוזיציה המקורית אכן הייתה קלאסית אולם לא תאמה את האופן שבו הוגדרה בתקופת הרנסאנס, שבה הוקפד על יישור אנכי של אלמנטים בחזית ולא הוכר בקומפוזציה בעלת מקצבים אופקיים. שינוי עליית הגג של הרוטונדה התרחש בשנת 1756 ולא ב-1747 כפי שמופיע במקורות ספרות רבים, על פי מחקרה של סוזנה פסקואלי (Susanna Pasquali).
לאורך השנים, ביקורות ועלבונות רבים הוטחו כלפי שינוי זה, עד שבשנת 1932 אלברטו טרנציו (Alberto Terenzio), תחת חסותו של מוסוליני, שיחזר חלק קטן מעליית הגג כדי להראות כיצד הייתה מעוצבת במקור.