En la cantiga 273 de Alfonso X El Sabio, del siglo XIII, se cuenta cierto milagro ocurrido en la capilla del castillo, por lo que puede suponerse que anteriormente a esta fecha ya existía algún recinto amurallado en el mismo lugar.