William Malets Sohn, Robert, wurde ausgewiesen, und nach seinem Tod in der Schlacht bei Tinchebray 1106 wurde Eye Castle von Heinrich I. konfisziert und blieb eine Zeitlang ein königliches Schloss. Heinrich gab die Burg 1113 an seinen liebsten Neffen, Stephan. Stephan folgte Heinrich 1135 auf den englischen Thron und gab das Honour of Eye zunächst einem seiner Leutnants, Wilhelm von Ypern, als Lehen, und später "Hervey Brito", seinem Schwiegersohn. Dann, in den 1140er-Jahren, übertrug Stephan das Land an seinen zweiten Sohn, Wilhelm. Wilhelm war damals noch minderjährig und es begab sich, dass die Ländereien bis zu seiner Volljährigkeit von Stephans treuem königlichen Statthalter Wilhelm Martel verwaltet wurden. In der Zwischenzeit war ein Bürgerkrieg zwischen Stephan und Kaiserin Matilda ausgebrochen, der als „Die Anarchie“ bekannt wurde und von 1138 bis 1154 dauerte. Die meisten Kämpfe spielten sich in East Anglia ab, wo die mächtige Familie "Bigod" unter Hugh Bigod versuchte, ihre Selbständigkeit und ihren Einfluss auszudehnen. Eye Castle spielte in diesem Krieg keine große Rolle, weil mit Ausnahme einiger Scharmützel in der Gegend die meisten Kämpfe westlich davon ausgetragen wurden.