Po opuszczeniu Wyspy przez Rzymian nastąpił okres inwazji anglosaskiej. Anglosasi sprawowali kontrolę nad obszarem obecnej Anglii do roku 600 n.e., choć Somerset był wciąż brytyjski. Brytom udało się powstrzymać na jakiś czas ekspansję anglosaską na południowy zachód. Dopiero król Wessexu Ine przesunął granicę królestwa wschodniosaksońskiego na zachód, obejmując i Somerset. Pałac królewski w Cheddar był używany kilkakrotnie dla potrzeb Witenagemotu. Po inwazji Normanów na Anglię w 1066 obszar hrabstwa podzielono na 700 lenn, jednak duża część terytorium hrabstwa była własnością Korony, łącznie z fortyfikacjami Dunster.