Cuando el emperador Aureliano, Honorio (395-423) y Arcadio (395-408) reforzaron con la ayuda del magister militum Estilicón la llamada "muralla aureliana", se integró en ella el mausoleo, y se convirtió en un edificio militar, pasando a ser denominado "Castellum".