Durante el siglo V, Julio Nepote, uno de los del Imperio romano de Occidente, gobernó su pequeño imperio desde dicho palacio.