Ashley Castle eller Gains Castle, blev bygget i 1138, hvor der lå et voldsted fra jernalderen. Stedet har givetvis haft strategisk betydning, da det lå højt med brønd og med kort afstand til den romerske vej fra Winchester til Sarum. Grundlæggeren var den magtfulde Henry de Blois, som var barnebarn af Vilhelm Erobreren, der var lillebror til Stefan af Blois, biskop af Winchester. Han opførte flere større bygningsværker som Wolvesey Palace i Winchester og var en af de mest magtfulde i sin tid. Borgen blev opført under Anarkiets uro og borgerkrig. Efter Henrik 2. blev konge i 1155, blev fæstningen ødelagt, men omstændighederne er ikke dokumenteret.