La historia nos demuestra que en la segunda mitad del siglo XVII los duques de Villahermosa aparecen como dueños de las tierras de Los Fayos y mandan construir el palacio del Señorío y la Capilla contigua para uso del mismo, junto a los "Callejares", que formaban el núcleo del asentamiento del origen anterior.