Die Motte ließ entweder Walter von Douai oder sein Sohn "Robert", der ebenfalls Bampton Castle in Devon errichten ließ, bauen. Während der Anarchie wurde Robert von Douai von König Stephan ins Exil geschickt und die Burg "Ralph Lovel" zu Lehen gegeben, der damals Parteigänger Roberts, des 1. Earl of Gloucester, gegen den König war. König Stephan gab 1138 seine Belagerung von Bristol auf und belagerte stattdessen Cary Castle mit Feuer und Steinen aus Belagerungsgerät. Die Belagerung dauerte, bis die ausgehungerte Garnison sie aufgab.