De tempel brandde desondanks diverse malen af, maar de heilige voorwerpen konden telkens op tijd in veiligheid worden gebracht. De Grote brand van Rome in 64 verwoestte de tempel, maar keizer Nero liet hem snel herbouwen. Trajanus liet deze tempel aan het begin van de 2e eeuw weer restaureren, maar bij de grote brand van 191 ging hij opnieuw verloren. Hierna werd de tempel voor de laatste keer herbouwd door Julia Domna, de vrouw van Septimius Severus. De Tempel van Vesta behield zijn religieuze functie tot keizer Theodosius I hem in 394 definitief liet sluiten.