Після завоювання Англії норманнами, острів деякий час був базою англійських повстанців, очолюваних графом Моркаром, єпископом Етельвайном та Херевардом. Сили Вільгельма Завойовника захопили острів після тривалої облоги. У 1139 році, під час громадянської війни між королем Стефаном та імператрицею Матильдою, місцевий єпископ Найджел, що підтримував Матильду, безуспішно намагався обороняти острів. У 1143 році Жоффруа де Мандевіль, що повстав проти короля Стефана, облаштував на острові Ілі військову базу. Жоффруа було смертельно поранено наступного року біля Бервілла. У 1216 році, під час першої війни баронів, острів безуспішно оборонявся проти армії короля Іоанна. Також місцеве населення брало участь у повстанні селян 1381 року. Під час цивільної війни в Англії острів використовувався як нейтральна територія для перемовин.