En el 403 el Honorio incluyó el edificio en las murallas aurelianas; desde ese momento el edificio perdió su función originaria de sepulcro, convirtiéndose en una fortaleza que formaba parte del sistema defensivo de la ciudad, un baluarte avanzado al otro lado del Tíber. Fue entonces cuando el mausoleo fue designado por primera vez con el apelativo de "castellum". Salvó la zona del Vaticano del saqueo de los visigodos de Alarico del 410 y del de los vándalos de Genserico del 455. Entonces, para defenderse, los romanos lanzaron sobre los asaltantes todo lo que tenían al alcance de la mano, incluidas las estatuas: una de ellas, el llamado Fauno Barberini, fue encontrada posteriormente en el foso de la fortaleza. A principios del siglo Teodorico lo dedicó a prisión de Estado.