Cuando éste cayó la función militar del Castillo desaparece y es entonces cuando los espereños comienzan a construir sus casas en los lugares más llanos, a lo largo de las laderas, existiendo dos villas: "La Villa Vieja" arriba, dentro de los muros del castillo y "La Nueva" en el actual emplazamiento del pueblo.