Sachverhalt: A. E._ und F._ beabsichtigen, die Parzellen Nrn. 687 und 891 an der Westerfeldstrasse in Ermatingen mit einem Einfamilienhaus zu überbauen. Die Parzellen liegen in der eingeschossigen Wohnzone am See (W1S), für die eine Ausnützungsziffer von 0.1 vorgesehen ist. Ermatingen liegt im BLN-Objekt Nr. 1411 "Untersee/Hochrhein". B. Nachdem ein erstes Projekt abgewiesen worden war, reichten E._ und F._ am 30. Mai 2006 ein überarbeitetes Projekt ein. Dagegen erhoben A._, B._, C._ und D._ Einsprache. Am 24. Juli 2006 wies der Gemeinderat Ermatingen die Einsprachen ab und erteilte die Baubewilligung. C. Die Einsprecher gelangten daraufhin mit Rekurs an das Departement für Bau und Umwelt des Kantons Thurgau (DBU). Dieses hiess den Rekurs insoweit gut, als der heutige Zustand der Westerfeldstrasse die Anforderungen an eine Erschliessungsstrasse nicht erfülle, weshalb sie mindestens mit einem Asphaltbelag zu versehen sei. Die übrigen Einwendungen (Höhe des Bauprojekts, Missachtung der Schutzziele des BLN-Objekts Nr. 1411) wies das DBU ab. D. Gegen diesen Entscheid erhoben A._, B._, C._ und D._ einerseits und die Gemeinde Ermatingen andererseits Beschwerde an das Verwaltungsgericht des Kantons Thurgau. Am 31. Oktober 2007 wies dieses die Beschwerde der Einsprecher ab. Die Beschwerde der Gemeinde hiess das Verwaltungsgericht gut. Es erachtete die bestehende, nicht asphaltierte Zufahrt zur Bauparzelle als genügend. E. Gegen dieses Urteil haben A._, B._, C._ und D._ am 16. Januar 2008 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Sie beantragen, der angefochtene Entscheid sei aufzuheben; eventualiter sei die Sache zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen. F. Die privaten Beschwerdegegner und das Verwaltungsgericht beantragen Beschwerdeabweisung. Das DBU schliesst auf Abweisung der Beschwerde, soweit der Rekursentscheid des DBU geschützt wurde. Die Gemeinde Ermatingen beantragt, auf die Beschwerde sei nicht einzutreten, eventualiter sei sie abzuweisen. Im zweiten Schriftenwechsel hielten alle Beteiligten, soweit sie sich nochmals äusserten, an ihren Anträgen fest. G. Mit Schreiben vom 24. Januar 2008 teilte der Rechtsvertreter der Beschwerdeführer mit, dass G._ anstelle ihres Ehemannes D._ in das Verfahren eingetreten sei. Während die privaten Beschwerdegegner mit dem Parteiwechsel einverstanden waren, widersetzte sich die Gemeinde Ermatingen mit Schreiben vom 29. August 2008 und wies darauf hin, dass sowohl D._ als auch C._ ihre Eigentumswohnung schon vor dem angefochtenen Entscheid des Verwaltungsgerichts verkauft hätten und schon aus diesem Grund nicht mehr zur Beschwerde legitimiert seien. H. Mit Verfügung vom 29. Februar 2008 wurde das Gesuch um aufschiebende Wirkung abgewiesen.