Sachverhalt: A. Die Gemeinde Hefenhofen erliess am 4. April 2007 gestützt auf das Gesetz zum Schutz und zur Pflege der Natur und der Heimat des Kantons Thurgau vom 8. April 1992 (NHG/TG; RB 450.1) den kommunalen Schutzplan "Kulturobjekte". Die Genehmigung dafür wurde vom Departement für Bau und Umwelt des Kantons Thurgau jedoch nicht erteilt, weshalb der Plan in der Folge von der Gemeinde ergänzt werden musste. Dabei wurde insbesondere das Gebäude an der Amriswilstrasse ... in Hefenhofen, Assek.-Nr. 116, auf Parzelle Nr. 397, im Eigentum von Herrn X._, unter Schutz gestellt. Vom 13. Februar bis 4. März 2009 lag der abgeänderte Schutzplan öffentlich auf. Am 23. Februar 2009 erhoben die Eheleute X._ Einsprache, welche mit Entscheid der Gemeinde Hefenhofen vom 26. März 2009 abgewiesen wurde. Gegen diesen Entscheid führten die Eheleute X._ mit Eingabe vom 16. April 2009 Rekurs beim Departement für Bau und Umwelt. Im Rahmen des Rekursverfahrens wurden ein Bericht des Amtes für Denkmalpflege des Kantons Thurgau eingeholt und ein Augenschein durchgeführt. Mit Entscheid vom 25. März 2010 wies das Departement für Bau und Umwelt den Rekurs ab. Am 16. April 2010 reichten die Eheleute X._ Beschwerde ans Verwaltungsgericht des Kantons Thurgau ein und beantragten die Löschung ihrer Liegenschaft aus dem Schutzplan. Mit Entscheid vom 20. Oktober 2010 wies das Verwaltungsgericht die Beschwerde ab. B. Mit Beschwerde an das Bundesgericht vom 8. Dezember 2010 beantragen die Eheleute X._ die Aufhebung des Urteils des Verwaltungsgerichts. Das Verwaltungsgericht beantragt die Abweisung der Beschwerde. Der Gemeinderat Hefenhofen verzichtet auf eine Stellungnahme zur Beschwerde. Die Eingaben wurden den Beschwerdeführern zur Kenntnisnahme zugestellt.