У Сярэднявечча горад быў цэнтрам аднайменнага графства, якое ўваходзіла ў склад герцагства Нармандыя. Яно было створана ў 996 годзе герцагам Рычардам I для свайго незаконнанароджанага сына Готфрыда дэ Брыёна. Графства Э стваралася як памежная марка, якая бараніла Нармандскае герцагства з усходу. У 1050 або ў 1052 годзе ў царкве замка Э адбылося вяселле Вільгельма Заваёўніка і яго жонкі Мацільды Фландрскай. Гэтая царква — адзіная пабудова сярэднявечнага замка, якая захавалася да цяперашняга часу. У 1180 годзе ў Э захварэў і памёр Лоўрэнс О'Тул, архібіскуп дублінскі і папскі легат. У 1225 годзе ён быў кананізаваны каталіцкай царквой і стаў святым-заступнікам горада. Частка яго мошчаў захоўваецца ў галоўнай гарадской царкве Сен-Ларан. У XII стагоддзі Рычард Львінае Сэрца, які як герцаг Нармандыі быў сюзэрэнам графаў д'Э, пабудаваў гарадскія сцены. У 1202 годзе крэпасць была захоплена французскім каралём Філіпам Аўгустам, а графы д'Э перайшлі пад уладу Францыі.