Esta lucha, condujo a la frustración del conde, que en su momento veía sus esperanzas de ganar el voto en cortes para Galicia, fracasadas en intrigas y conspiraciones palaciegas orquestadas por el Conde-Duque de Olivares y el Duque de Uceda, y tras mantener una entrevista con el rey, que recoge "Vesteiro Torres", y reproduce el resto de historiadores que trataron el tema, le expuso sus quejas y la desatención de sus reivindicaciones, tras lo cual le adujo: «"como no sé vivir en la corte, pido a su Majestad licencia para retirarme a mi casa de Galicia.