En 1772, el XI duque de Villahermosa, Juan Pablo, dejó la agregaduría de la Embajada en París, donde era embajador su suegro, y marchó primero a Londres y después a Madrid, desde donde se le envió destinado fuera por temor a su posible influencia en la familia real.