Três fases distintas de construção podem ser identificadas. Durante a República, havia dois prédios menores situados em um eixo distinto, alinhado com os pontos cardeais. Um palácio maior foi construído depois do grande incêndio de 64, que forneceu as bases para o palácio cujas ruínas permanecem visíveis atualmente. Este foi construído por Domiciano e depois Trajano , e restaurado por Septímio Severo , após o incêndio de 191 Este palácio está alinhado no eixo nordeste-sudeste, alinhando-se ao Fórum. Foi ocupado pelas Vestais até a proibição decretada por Teodósio I dos cultos pagãos em Roma, após o que serviu como residência administrativa imperial e depois foi abandonado.