Zur Zeit des Augustus wurde das Haus der Vestalinnen durch Einbeziehung der bisher vom Pontifex Maximus bewohnten "Domus publica" erweitert. Nach der Zerstörung durch den Brand Roms 64 n. Chr. wurde der heute sichtbare Bau begonnen, der in der Kaiserzeit unter Trajan und Septimius Severus mehrmals renoviert und umgebaut wurde. Unter dem christlichen Kaiser Theodosius I. wurde im Jahr 394 das Haus der Vestalinnen aufgegeben.