Tras la invasión normanda de Inglaterra, Guillermo el Conquistador cedió la isla de Wight a su amigo William FitzOsbern, el cual encargó la construcción de una fortificación en madera en Carisbrooke. El castillo, como tal, es mencionado ya en el "Domesday Book" de Alvington, por lo que debió ser erigido a encargo del mismo FitzOsbern, que fue el primer señor de la Isla de Wight. Desde esa época, el señorío de la isla siempre estuvo vinculado a la propiedad del castillo, el cual se convertiría en la sede del gobierno de Wight.