El tamaño de este palacio es motivo de debate, ya que era considerado como un símbolo de la opresión de Nerón, y por ello sus sucesores se dedicaron a desmantelarlo y construir sobre él (por ejemplo, el famoso Coliseo fue construido sobre un gran estanque que había en el palacio, en el entorno de una estatua inmensa de Nerón, el llamado Coloso de Nerón).