El Temple de Vesta es va cremar dues vegades segons la història escrita. Al 64, durant el Gran incendi de Roma quan es va cremar la major part de la ciutat incloent el Temple de Vesta. Va ser narrat per Dió Cassi que va dir ser iniciat per Neró, però segons Tàcit, Neró era a Anzio en el moment de l'incendi. Després d'un altre foc en 191, Júlia Domna, esposa de Septimi Sever, es va encarregar de restaurar-ho. L'any 394, el temple va ser clausurat per Teodosi I el Gran amb l'objectiu de difondre el cristianisme a l'Imperi Romà. El Temple de Vesta es va mantenir raonablement intacte fins al Renaixement. Tanmateix, el 1549 l'edifici va ser completament demolit i el seu marbre tornat a utilitzar a les esglésies i els palaus papals. La secció que es troba reconstruïda, va ser realitzada a la dècada de 1930 durant la dictadura de Benito Mussolini.