410年の西ゴート族の王アラリック1世によるローマ略奪（ローマ劫掠）で霊廟の屋根は破壊され、黄金の骨壷に入った遺灰は散逸してしまったとも言われている。中世になり、アウグストゥス廟は城として改築され、有力貴族コロンナ家の持城となった。12世紀、コロンナ家が（教皇庁に対抗して結成された）との戦いに敗れたため、この城は廃城となり破壊され、現在のような外観となった。