Den gamle festningen Mont Orgueil dominerer den lille havnen og landsbyen Gorey. Festningen fungerte som øyas fengsel fram til det ble bygd et fengsel i Saint Helier på 1600-tallet. Blant de oppviglere som ble fengslet her av den britiske regjeringen var William Prynne og John Lilburne. Fram til byggingen av festningen Elizabeth Castle utenfor Saint Helier på 1600-tallet var Mont Orgueil også vanligvis boligen til Jerseys guvernør.