Sachverhalt:
A. Die Gemeinde Hefenhofen erliess am 4. April 2007 gestützt auf das Gesetz zum Schutz und zur Pflege der Natur und der Heimat des Kantons Thurgau vom 8. April 1992 (NHG/TG; RB 450.1) den kommunalen Schutzplan "Kulturobjekte". Die Genehmigung dafür wurde vom Departement für Bau und Umwelt des Kantons Thurgau jedoch nicht erteilt, weshalb der Plan in der Folge von der Gemeinde ergänzt werden musste. Dabei wurde insbesondere das Gebäude an der Amriswilstrasse ... in Hefenhofen, Assek.-Nr. 116, auf Parzelle Nr. 397, im Eigentum von Herrn X._, unter Schutz gestellt. Vom 13. Februar bis 4. März 2009 lag der abgeänderte Schutzplan öffentlich auf.
Am 23. Februar 2009 erhoben die Eheleute X._ Einsprache, welche mit Entscheid der Gemeinde Hefenhofen vom 26. März 2009 abgewiesen wurde.
Gegen diesen Entscheid führten die Eheleute X._ mit Eingabe vom 16. April 2009 Rekurs beim Departement für Bau und Umwelt. Im Rahmen des Rekursverfahrens wurden ein Bericht des Amtes für Denkmalpflege des Kantons Thurgau eingeholt und ein Augenschein durchgeführt. Mit Entscheid vom 25. März 2010 wies das Departement für Bau und Umwelt den Rekurs ab.
Am 16. April 2010 reichten die Eheleute X._ Beschwerde ans Verwaltungsgericht des Kantons Thurgau ein und beantragten die Löschung ihrer Liegenschaft aus dem Schutzplan. Mit Entscheid vom 20. Oktober 2010 wies das Verwaltungsgericht die Beschwerde ab.
B. Mit Beschwerde an das Bundesgericht vom 8. Dezember 2010 beantragen die Eheleute X._ die Aufhebung des Urteils des Verwaltungsgerichts.
Das Verwaltungsgericht beantragt die Abweisung der Beschwerde. Der Gemeinderat Hefenhofen verzichtet auf eine Stellungnahme zur Beschwerde. Die Eingaben wurden den Beschwerdeführern zur Kenntnisnahme zugestellt.

Erwägungen:
1. 1.1 Das angefochtene Urteil des Verwaltungsgerichts ist ein letztinstanzlicher kantonaler Endentscheid in einer öffentlich-rechtlichen Angelegenheit. Er kann mit Beschwerde gemäss Art. 82 lit. a des Bundesgerichtsgesetzes (BGG) angefochten werden. Die unrichtige Bezeichnung des Rechtsmittels als "staatsrechtliche Beschwerde" schadet nicht (vgl. <ref-ruling> E. 1.2 S. 382; <ref-ruling> E. 3.1 S. 399; je mit Hinweisen). Die Beschwerdeführer haben vor der Vorinstanz am Verfahren teilgenommen. Sie sind als Eigentümer der von der Unterschutzstellung betroffenen Liegenschaft besonders berührt und haben ein schutzwürdiges Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids (<ref-law>). Unter Vorbehalt der nachfolgenden Erwägungen ist auf die Beschwerde einzutreten.
1.2 Nach <ref-law> ist in der Begründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Dies setzt voraus, dass sich die Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzen. Zwar wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (<ref-law>). Das setzt aber voraus, dass auf die Beschwerde überhaupt eingetreten werden kann, diese also wenigstens die Begründungsanforderungen von <ref-law> erfüllt.
Strengere Anforderungen gelten, wenn die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung) geltend gemacht wird. Dies prüft das Bundesgericht nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Die Beschwerdeschrift muss die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Erlass oder Entscheid verletzt worden sind. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen (vgl. <ref-ruling> E. 1.6 S. 130; <ref-ruling> E. 2.1 und 2.2 S. 245 f.; je mit Hinweisen).
1.3 Soweit die Beschwerdeführer eine Verletzung des Gleichbehandlungsgebots (<ref-law>) rügen, da andere Liegenschaften in der Gemeinde nicht (mehr) unter Schutz gestellt seien, zeigen sie nicht konkret auf, inwiefern gegenüber Nachbarn in vergleichbarer Lage eine ungerechtfertigte Ungleichbehandlung erfolgt sein soll. Die Beschwerde genügt insoweit den gesetzlichen Begründungsanforderungen nicht (Art. 42 Abs. 2 und <ref-law>). Auf die Rüge ist nicht einzutreten (vgl. auch Urteil 1C_543/2009 vom 15. März 2010 E. 1.4). Nicht hinreichend substanziiert sind auch die Einwände der Beschwerdeführer, der Entscheid grenze an Willkür (<ref-law>) und verletze ihren Anspruch auf rechtliches Gehör (<ref-law>).
1.4 Nicht Verfahrensgegenstand bildet die Frage, ob es sich bei der umstrittenen Unterschutzstellung allenfalls um eine entschädigungspflichtige materielle Enteignung handelt. Auf die diesbezüglichen Vorbringen der Beschwerdeführer kann deshalb nicht eingetreten werden (vgl. auch Urteil 1C_101/2010 vom 11. Mai 2010 E. 2).
2. 2.1 Mit der Aufnahme des Gebäudes der Beschwerdeführer in den Schutzplan wird der grundsätzliche Erhalt dieses Objekts vorgesehen. Diese Massnahme des Denkmalschutzes bewirkt eine Beschränkung der Verfügungsbefugnis der Grundeigentümer und tangiert somit die Eigentumsgarantie gemäss <ref-law>. Eingriffe in dieses Grundrecht bedürfen einer gesetzlichen Grundlage, müssen im öffentlichen Interesse liegen und verhältnismässig sein (<ref-law>).
Die Vorinstanz hat dargelegt, dass eine hinreichende gesetzliche Grundlage für die Unterschutzstellung besteht, was von den Beschwerdeführern auch nicht bestritten wird. Insoweit kann auf die Erwägungen im angefochtenen Entscheid verwiesen werden.
Ob die angefochtene Unterschutzstellung einem hinreichenden öffentlichen Interesse entspricht und ob die Massnahme in Abwägung der entgegenstehenden Interessen verhältnismässig ist, prüft das Bundesgericht frei. Es auferlegt sich indes Zurückhaltung, soweit die Beurteilung von der Würdigung der örtlichen Verhältnisse abhängt, welche die kantonalen Behörden besser kennen (vgl. <ref-ruling> E. 4.3 S. 416). Dies gilt namentlich auf dem Gebiet des Denkmalschutzes. Es ist in erster Linie Sache der Kantone, darüber zu befinden, welche Objekte sie als schützenswert erachten (<ref-ruling> E. 6.1 S. 181; <ref-ruling> E. 3b S. 275).
Eigentumsbeschränkungen zum Schutz von Baudenkmälern liegen allgemein im öffentlichen Interesse. Wie weit dieses öffentliche Interesse reicht, insbesondere in welchem Ausmass ein Objekt denkmalpflegerischen Schutz verdient, ist im Einzelfall sorgfältig zu prüfen. Bei der Prüfung der Frage, ob ein Objekt Schutz verdient, hat eine sachliche, auf wissenschaftlichen Kriterien abgestützte Gesamtbeurteilung Platz zu greifen, welche den kulturellen, geschichtlichen, künstlerischen und städtebaulichen Zusammenhang eines Bauwerks mitberücksichtigt. Eine Baute soll als Zeuge und Ausdruck einer historischen, gesellschaftlichen, wirtschaftlichen und technischen Situation erhalten bleiben. Da Denkmalschutzmassnahmen oftmals mit schwerwiegenden Eigentumseingriffen verbunden sind, dürfen sie aber nicht lediglich im Interesse eines begrenzten Kreises von Fachleuten erlassen werden. Sie müssen breiter abgestützt sein und von einem grösseren Teil der Bevölkerung befürwortet werden, um Anspruch auf eine gewisse Allgemeingültigkeit erheben zu können (<ref-ruling> E. 6.2 S. 182; 120 la 270 E. 4a S. 275).
Schliesslich gilt auch für Denkmalschutzmassnahmen der Grundsatz der Verhältnismässigkeit. Danach müssen staatliche Hoheitsakte für das Erreichen eines im übergeordneten öffentlichen Interesse liegenden Zieles geeignet, notwendig und dem Betroffenen zumutbar sein. Ein Grundrechtseingriff ist namentlich dann unverhältnismässig, wenn eine ebenso geeignete mildere Anordnung für den angestrebten Erfolg ausreicht. Der Eingriff darf nicht einschneidender sein als notwendig (<ref-ruling> E. 2c S. 222).
2.2 Die Vorinstanz hat im angefochtenen Entscheid detailliert und unter Bezugnahme auf den Bericht des Amtes für Denkmalpflege vom 29. Juni 2009 begründet, aus welchen historischen und wissenschaftlichen Gründen der Liegenschaft der Beschwerdeführer eine hohe Erhaltenswürdigkeit zukommt.
Zusammenfassend hebt die Vorinstanz hervor, die Liegenschaft der Beschwerdeführer - das Restaurant "A._" - sei 1827 errichtet worden. Das Fachwerk und die starke regelmässige Befensterung seien typisch für diese Zeit. Das Erdgeschoss sei bereits mehrfach verändert worden. Das Obergeschoss hingegen präsentiere sich heute weitgehend in seiner historischen Struktur und Gestaltung. Das Gebäude sei im Inventar des Amtes für Denkmalpflege als "wertvoll" bewertet worden und bilde einen unverzichtbaren Bestandteil des historischen Ortsmittelpunkts. Zudem sei der Weiler Brüschwil gemäss dem Bundesinventar der schützenswerten Ortsbilder der Schweiz ISOS als Ortsbild von regionaler Bedeutung eingestuft worden. Das damit verbundene Erhaltungsziel A bedeute, dass die Bausubstanz zu erhalten sei. Die Vorinstanz betont, bereits unter dem Gesichtspunkt des Ortsbildschutzes erscheine es nachvollziehbar, dass Liegenschaften wie das Restaurant "A._", die als Teil des Ensembles zum Ortsbild gehörten, grundsätzlich zu erhalten seien. Als stattlicher Fachwerkbau sei das Restaurant "A._" jedoch auch als Einzelobjekt schutzwürdig.
Die Beschwerdeführer ziehen diese Beurteilung nicht grundsätzlich in Zweifel. Sie setzen sich mit den Erwägungen, weshalb der Liegenschaft Schutz- und Erhaltenswürdigkeit zukommt, nicht näher auseinander. Insoweit bestreiten sie das allgemeine öffentliche Interesse an der Unterschutzstellung nicht substanziiert.
2.3 Hingegen bringen die Beschwerdeführer vor, die Unterschutzstellung sei nicht verhältnismässig. Sie machen insbesondere geltend, aus Gründen der Verhältnismässigkeit seien nicht sämtliche Objekte, sondern sei ein repräsentativer Querschnitt einer Epoche unter Schutz zu stellen, was vorliegend in der Gemeinde bereits geschehen sei. Die Unterschutzstellung erweise sich aber auch deshalb als unverhältnismässig, weil in der Dorfzone, in welcher sich ihre Liegenschaft befinde, bereits weitreichende bauliche Beschränkungen bestünden.
Die Vorinstanz führt aus, die Unterschutzstellung bewirke kein gänzliches Bauverbot. Umbauten und Erneuerungen seien auch bei unter Schutz gestellten Häusern möglich. Über die Zulässigkeit einzelner baulicher Massnahmen werde seitens der zuständigen Behörde erst im Rahmen eines künftigen Baubewilligungsverfahrens für ein allfälliges Um- bzw. Ausbauprojekt, unter Beizug des Amtes für Denkmalpflege und unter Abwägung der massgeblichen privaten und öffentlichen Interessen, konkret zu entscheiden sein (vgl. <ref-law>/TG). Weiter gelte es zu berücksichtigen, dass die streitbetroffene Liegenschaft gemäss dem Baureglement 2007 der Gemeinde Hefenhofen (BauR/Hefenhofen) in der Dorfzone "D" liege. Bereits aufgrund dieser Regelbauvorschriften seien die Beschwerdeführer im Falle eines Neu- bzw. Umbauprojekts eingeschränkt. So bestimme Ziff. 2.2.1 BauR/Hefenhofen, dass Neu-, An- und Umbauten insbesondere bezüglich ihrer Ausmasse, Proportionen, Gestaltung, Stellung, Materialien, Farbgebung und Umgebungsgestaltung sorgfältig und harmonisch in die bestehenden Ortsbilder einzuordnen seien; die vorhandene Bausubstanz und deren Umgebung sei nach Möglichkeit zu erhalten (Abs. 1). Da der Weiler Brüschwil mit der Liegenschaft der Beschwerdeführer zudem im ISOS als Ortsbild von regionaler Bedeutung figuriere, müsse die Bausubstanz erhalten werden. Auch in dieser Hinsicht hätten die Beschwerdeführer im Falle eines Bauprojekts mit erheblichen Einschränkungen zu rechnen. In Zusammenhang mit der Verhältnismässigkeit sei weiter zu berücksichtigen, dass bei Renovationen von Bauten, die unter Schutz gestellt sind, sich sowohl der Kanton als auch die Gemeinden mit entsprechenden Beiträgen an den anrechenbaren Kosten beteiligten (<ref-law>/TG). Mehrkosten für denkmalpflegerische Massnahmen würden somit zu einem wesentlichen Teil durch solche Beiträge abgegolten. Insgesamt erweise sich die Unterschutzstellung damit als verhältnismässig.
2.4 Die Ausführungen der Vorinstanz verletzen kein Bundesrecht: Die umstrittene Unterschutzstellung ist geeignet, die Liegenschaft als schützenswertes Gebäude zu erhalten. Die Eigentumsbeschränkung geht auch nicht weiter als zur Erreichung der angestrebten Gebäudeerhaltung erforderlich ist. Es wird nicht geltend gemacht und ist nicht ersichtlich, dass eine weniger einschneidende Massnahme die Bewahrung der Liegenschaft garantieren könnte. Somit stellt sich die Frage, ob die angefochtene Unterschutzstellung für die Beschwerdeführer unter Berücksichtigung sämtlicher Umstände zumutbar ist. Dabei ist davon auszugehen, dass rein finanzielle Interessen bei ausgewiesener Schutzwürdigkeit für sich genommen nicht ausschlaggebend sein können (vgl. Urteil 1C_101/2010 vom 11. Mai 2010 E. 3.5 mit Hinweisen); im Übrigen steht es den Beschwerdeführern insoweit offen, ein Subventionsbegehren für die Kosten der Erhaltung und Restaurierung zu stellen. Wie die Vorinstanz weiter zutreffend ausführt, wird den Beschwerdeführern die Nutzung der Liegenschaft nicht verunmöglicht, und die Unterschutzstellung schliesst es nicht aus, am Objekt weiterhin bauliche Veränderungen vorzunehmen. Die mit der Unterschutzstellung verbundenen, über die bereits jetzt in der Dorfzone geltenden Vorschriften hinausgehenden baulichen Beschränkungen erweisen sich als zumutbar.
3. Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang tragen die Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens (<ref-law>). Die Gemeinde, die in ihrem amtlichen Wirkungskreis obsiegt, hat keinen Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, der Politischen Gemeinde Hefenhofen, dem Departement für Bau und Umwelt sowie dem Verwaltungsgericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 23. Februar 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Fonjallaz Stohner