Het huis was gebouwd aan de voet van de Palatijn, waar een heilig bos lag. Dit bos werd gedurende de eeuwen bebouwd, maar alle gebouwen hier inclusief het Huis van de Vestaalse Maagden werden verwoest tijdens de Grote brand van Rome in 64. Na de brand werd het huis herbouwd en bleef in gebruik tot de christelijke keizer Theodosius I aan het einde van de 4e eeuw de heidense cultus verbood. Vervolgens werd het huis gebruikt voor leden van het keizerlijk hof en later door het pauselijk hof. Het complex bleef tot in de 11e of 12e eeuw in gebruik.