El castillo, como tal, es mencionado ya en el "Domesday Book" de Alvington, por lo que debió ser erigido a encargo del mismo FitzOsbern, que fue el primer señor de la Isla de Wight.