Además fue desplazado en la corte por la familia de la nueva reina, quienes ganaron influencia sobre el rey, quien de paso objetó el matrimonio de los hermanos del rey, Ricardo de Gloucester y Jorge de Clarence con sus hijas Ana e Isabel.