El invariable e inmerecido favor mostrado hacia el duque por Felipe II de España ha sido explicado por un interés paternal hacia la duquesa, según el escándalo de la época que acusaba al rey de tener una relación amorosa con la princesa de Éboli.