Das Dorf erhielt seine Gründungsurkunde Reginald de Mohun kurz nach der Normannischen Eroberung von 1066. Während des 12. Jahrhunderts blühte Dunster als ein Handelshafen, bekannt als Dunster Haven. Das Dorf liegt heute nicht mehr an der Küste. Mit dem Rückzug des Meeres änderte sich auch die Wirtschaft Dunsters hin zum Wollhandel. Im Zentrum ist daher der "Yarn Market" zu finden, ein achteckiges Gebäude, das 1609 errichtet wurde, um Händler und ihre Waren vor dem Wetter zu schützen. Es wurde 1649 wiederaufgebaut, nachdem es während des Bürgerkriegs beschädigt worden war. Dominiert wird Dunster von dem Schloss, das seit normannischen Zeiten existiert. Das Torhaus aus dem 13. Jahrhundert hat bis heute überdauert. Das heutige Hauptgebäude wurde von 1868 bis 1872 von Anthony Salvin für die Luttrell-Familie, die für über 600 Jahre dort lebte, umgestaltet. Im Jahr 1976 wurde das Schloss mit dem Großteil seiner Ausstattung dem National Trust übergeben.