En el siglo XVI, don Antón de Paz era señor de Villares de Yeltes, y resulta muy probable que el palacio fuera ya su mansión residencial; con posterioridad, quizá también lo ocupase el Conde de Canillas, pero el obvio que éste nada pudo tener que ver con su edificación, ya que la vinculación de este linaje, como tal, con Villares de Yeltes no alcanza, por lo que se sabe, más allá del siglo XVII.