Després de la invasió normanda d'Anglaterra, Guillem el Conqueridor va cedir l'illa de Wight al seu amic William FitzOsbern, el qual va encarregar la construcció d'una fortificació de fusta a Carisbrooke. El castell, com a tal, és esmentat ja en el "Domesday Book" d'Alvington, per la qual cosa va haver de ser erigit a encàrrec del mateix FitzOsbern, que fou el primer senyor de l'Illa de Wight. Des d'aquesta època, el senyoriu de l'illa sempre va estar vinculat a la propietat del castell, el qual es convertiria en la seu del govern de Wight.