Die Geschichte von Caversham Park geht mindestens bis in normannische Zeit zurück, als "Walter Giffard", ein entfernter Verwandter von Wilhelm dem Eroberer, das Anwesen nach der Eroberung Englands 1066 erhielt. Das Anwesen, damals "Caversham Manor" genannt, war ein befestigtes Herrenhaus oder eine Burg, vermutlich näher an der Themse als das heutige Haus. Das Anwesen war im Domesday Book erwähnt; der Eintrag weist eine Fläche von 9,7 km² und einen Wert von £ 20 aus. Das Anwesen ging Ende des 12. Jahrhunderts an den Marshal of England William Marshal, 1. Earl of Pembroke. Marshall, der in seinen letzten Lebensjahren als De-facto-Regent unter der Herrschaft des jungen Königs Heinrich III. diente, starb 1219 in Caversham Park.