Vuelto a la corte, el rey Felipe II, en 1576, ordenó la prisión de Fadrique en el castillo real de Tordesillas por su actuación en Flandes.