Sus antiguas relaciones con Antonio Pérez, y un vínculo lejano de parentesco con este valido, al que se atribuyó su primera aparición en los negocios de la corte, (muy negado después por él) se juntaban también para inquietarlo.