Un antepasado suyo fue Luís de Pimentel e Soutomaior, que intentó asesinar a su mujer, Inés de Ribadeneira, en las dependencias del pazo.