A finales del siglo XVIII emparentaron con éstos los Gaytán de Ayala, que realizaron importantes obras de ampliación, y de quienes ha tomado nombre este palacio.