La construcción del complejo fortificado se llevó a cabo durante una época bastante turbulenta por las constantes guerras civiles que se dieron por Castilla durante la década de 1470, enmarcando la conocida como Guerra de Sucesión Castellana (1475-1479), previo establecimiento del reinado de los Reyes Católicos, lo que supuso la unión de los reinos de Castilla y Aragón. Durante el reinado de Enrique IV de Castilla, el señor que tenía en sus manos la villa de Arroyomolinos fue Fernando Pareja, Adelantado Mayor de Galicia que, durante la Guerra de Sucesión, partirá a apoyar al rey de Portugal y abandonará, de este modo, la titularidad. Será entonces, en el año 1476, cuando, según citan algunas fuentes:"Juan de Oviedo, secretario que fué del rey don Enrique, con favor suyo avía edificado la fortaleza que se llama Arroyo de Molinos, en la cual recibía robadores e malos honbres, e desde allí hazía guerra a Casarrubios, villa de Gonzalo Chacón, que al rey don Fernando e la reyna doña Isabel su muger con toda lealtad seguía. El qual puso çerco sobre aquella fortaleza de Arroyo de Molinos, la qual tomó."Según la propia reina, estas palabras quedarían desmentidas ya que se asevera que la posesión de Arroyomolinos por parte de Gonzalo Chacón era anterior a la edificación de la fortaleza. Por tanto, se le reconoce un dueño más: Pedro López de Ayala. Este tomará posesión de ella el 13 de noviembre del año 1470.