Замок был построен в XI веке Вильгельмом де Варенном, графом Суррей, после норманнского завоевания Англии в 1066 году. В конце XII века Гамелин Плантагенет, незаконнорождённый единоутробный брат короля Генриха II, получил Конисбро после женитьбы на Изабелле де Варенн, графине Суррей. Гамелин и его сын Уильям перестроили замок в камне, в том числе и впечатляющий 28-метровый донжон. Замок оставался в семье до XIV века, несмотря на то, что Корона несколько раз его конфисковала. После этого укрепление было передано Эдмунду Лэнгли, но уже в 1461 году замок вновь был в собственности короля.