En 1551, durante la Guerra italiana de 1551-1559, Horacio perdió el puesto de prefecto de Roma y tenía el ducado de Castro incautado con guarniciones papales colocadas en toda fortaleza. En 1552, hecha la paz, el papa Julio III le devolvió su ducado.