Sachverhalt:
A. E._ und F._ beabsichtigen, die Parzellen Nrn. 687 und 891 an der Westerfeldstrasse in Ermatingen mit einem Einfamilienhaus zu überbauen. Die Parzellen liegen in der eingeschossigen Wohnzone am See (W1S), für die eine Ausnützungsziffer von 0.1 vorgesehen ist. Ermatingen liegt im BLN-Objekt Nr. 1411 "Untersee/Hochrhein".
B. Nachdem ein erstes Projekt abgewiesen worden war, reichten E._ und F._ am 30. Mai 2006 ein überarbeitetes Projekt ein. Dagegen erhoben A._, B._, C._ und D._ Einsprache. Am 24. Juli 2006 wies der Gemeinderat Ermatingen die Einsprachen ab und erteilte die Baubewilligung.
C. Die Einsprecher gelangten daraufhin mit Rekurs an das Departement für Bau und Umwelt des Kantons Thurgau (DBU). Dieses hiess den Rekurs insoweit gut, als der heutige Zustand der Westerfeldstrasse die Anforderungen an eine Erschliessungsstrasse nicht erfülle, weshalb sie mindestens mit einem Asphaltbelag zu versehen sei. Die übrigen Einwendungen (Höhe des Bauprojekts, Missachtung der Schutzziele des BLN-Objekts Nr. 1411) wies das DBU ab.
D. Gegen diesen Entscheid erhoben A._, B._, C._ und D._ einerseits und die Gemeinde Ermatingen andererseits Beschwerde an das Verwaltungsgericht des Kantons Thurgau. Am 31. Oktober 2007 wies dieses die Beschwerde der Einsprecher ab. Die Beschwerde der Gemeinde hiess das Verwaltungsgericht gut. Es erachtete die bestehende, nicht asphaltierte Zufahrt zur Bauparzelle als genügend.
E. Gegen dieses Urteil haben A._, B._, C._ und D._ am 16. Januar 2008 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Sie beantragen, der angefochtene Entscheid sei aufzuheben; eventualiter sei die Sache zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen.
F. Die privaten Beschwerdegegner und das Verwaltungsgericht beantragen Beschwerdeabweisung. Das DBU schliesst auf Abweisung der Beschwerde, soweit der Rekursentscheid des DBU geschützt wurde. Die Gemeinde Ermatingen beantragt, auf die Beschwerde sei nicht einzutreten, eventualiter sei sie abzuweisen.
Im zweiten Schriftenwechsel hielten alle Beteiligten, soweit sie sich nochmals äusserten, an ihren Anträgen fest.
G. Mit Schreiben vom 24. Januar 2008 teilte der Rechtsvertreter der Beschwerdeführer mit, dass G._ anstelle ihres Ehemannes D._ in das Verfahren eingetreten sei. Während die privaten Beschwerdegegner mit dem Parteiwechsel einverstanden waren, widersetzte sich die Gemeinde Ermatingen mit Schreiben vom 29. August 2008 und wies darauf hin, dass sowohl D._ als auch C._ ihre Eigentumswohnung schon vor dem angefochtenen Entscheid des Verwaltungsgerichts verkauft hätten und schon aus diesem Grund nicht mehr zur Beschwerde legitimiert seien.
H. Mit Verfügung vom 29. Februar 2008 wurde das Gesuch um aufschiebende Wirkung abgewiesen.

Erwägungen:
1. Gegen den kantonal letztinstanzlichen Entscheid des Verwaltungsgerichts, der den Baubewilligungsentscheid der Gemeinde Ermatingen schützt, steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (Art. 82 ff. BGG).
1.1 Die Gemeinde Ermatingen hat dem Parteiwechsel nicht zugestimmt, weshalb das Verfahren auf den Namen des ursprünglichen Beschwerdeführers (D._) weitergeführt wird (Art. 71 BGG i.V.m. Art. 17 Abs. 1 BZP, vgl. Entscheid 1C_32/2007 vom 18. Oktober 2007 E. 1.1).
1.2 Die Parzelle der Beschwerdeführer (Nr. 738) wird nur durch die Bahnlinie von der Bauparzelle getrennt. Das projektierte Einfamilienhaus soll ca. 20 m von der Parzellengrenze der Beschwerdeführer zu stehen kommen. Es schiebt sich zwischen diese und den See und ist daher geeignet, deren Seeblick zu beeinträchtigen. Insofern sind die Beschwerdeführer mehr als jedermann vom Bauvorhaben betroffen und haben ein schützenswertes Interesse an der Aufhebung oder Abänderung des angefochtenen Entscheids, weshalb sie zur Beschwerde legitimiert sind.
Es kann daher offen bleiben, ob sie ihre Legitimation zusätzlich auf das ihnen zustehende Fusswegrecht über die Bauparzelle Nr. 687 stützen können.
Offen bleiben kann auch, inwiefern sich der Verkauf der Eigentumswohnungen durch D._ und C._ noch während des kantonalen Verfahrens auf deren Legitimation ausgewirkt hat: Einzutreten ist jedenfalls auf die Beschwerde von A._ und B._.
1.3 Die Verletzung von Grundrechten - einschliesslich die willkürliche Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung (<ref-ruling> E. 1.4.3 S. 255) - wird vom Bundesgericht nicht von Amtes wegen geprüft, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Für derartige Rügen gelten die gleichen Begründungsanforderungen, wie sie gestützt auf Art. 90 Abs. 1 lit. b OG für die staatsrechtliche Beschwerde gegolten haben (<ref-ruling> E. 1.4.2 S. 254 mit Hinweisen). Die Beschwerdeschrift muss die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Erlass oder Entscheid verletzt worden sind. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen; auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein. Wird eine Verletzung des Willkürverbots geltend gemacht, muss anhand der angefochtenen Subsumtion im Einzelnen dargelegt werden, inwiefern der Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 1.3 S. 261 f. mit Hinweisen).
Im Folgenden werden daher nur diejenigen Rügen materiell-rechtlich behandelt, die diesen Anforderungen entsprechen. Auf die übrigen - wie namentlich die Rügen der Verletzung der verfassungsrechtlichen Begründungspflicht (Art. 29 Abs. 2 BV), des unzulässigen Eingriffs in das Ermessen des DBU und der Beeinträchtigung eines BLN-Objekts - wird nicht eingetreten.
2. Die Beschwerdeführer rügen in erster Linie, die strassenmässige Erschliessung der Bauparzelle über die Westerfeldstrasse sei ungenügend.
2.1 Sie machen zunächst geltend, die Westerfeldstrasse sei ein Rad-, Fuss- und Wanderweg; für Motorfahrzeuge gelte ein Fahrverbot. Die 1998 beschlossene Lockerung des Fahrverbots für Anlieger sei materiell und formell rechtswidrig erfolgt und sei daher ungültig.
Die mit Beschluss des DBU vom 10. August 1998 erfolgte Lockerung des Fahrverbots für Anlieger wurde im Amtsblatt der Gemeinde publiziert. Die Beschwerdeführer hätten daher die Möglichkeit gehabt, diesen Beschluss anzufechten. Sie behaupten zwar, der Beschluss hätte auch im kantonalen Amtsblatt publiziert werden müssen, legen aber nicht dar, aus welcher Bestimmung des kantonalen Rechts sich dies ergibt. Sie begründen auch nicht, inwiefern die fehlende kantonale Publikation sie (bzw. ihre Rechtsvorgänger) an der rechtzeitigen Anfechtung der Verfügung gehindert habe. Es ist deshalb davon auszugehen, dass der Beschluss in der vom Regierungsrat geänderten Fassung (Entscheid vom 2. November 1999) rechtskräftig geworden ist und im vorliegenden Verfahren nicht mehr überprüft werden kann.
Danach darf die Westerfeldstrasse von den Bewohnern der Parzelle Nr. 687/891 mit Motorfahrzeugen befahren werden. Eine andere Frage ist, ob diese Zufahrt für die strassenmässige Erschliessung der Bauparzelle genügt.
2.2 Die Beschwerdeführer sind der Auffassung, die bestehende Zufahrt genüge den bundesrechtlichen Mindestanforderungen gemäss Art. 19 und Art. 22 Abs. 2 lit. b RPG nicht.
2.2.1 Voraussetzung einer Baubewilligung ist, dass das Land erschlossen ist (Art. 22 Abs. 2 lit. b RPG). Dies ist nach Art. 19 Abs. 1 RPG der Fall, wenn die für die betreffende Nutzung hinreichende Zufahrt besteht und die erforderlichen Wasser-, Energie- sowie Abwasserleitungen so nahe heranführen, dass ein Anschluss ohne erheblichen Aufwand möglich ist.
Art. 19 Abs. 1 RPG will mit dem Erfordernis der ausreichenden Erschliessung vor allem polizeiwidrige Zustände verhindern (EJPD/BRP, Erläuterungen RPG, Bern 1981, N. 6 zu Art. 19). Es soll sichergestellt sein, dass keine Bauten entstehen, die wegen fehlender Zufahrten sowie Versorgungs- und Entsorgungseinrichtungen feuer- und gesundheitspolitische Gefahren bieten oder sonstige öffentliche Interessen gefährden (Bernhard Waldmann/Peter Hänni, Handkommentar RPG, 2006, Art. 19 N 12). Die Zufahrt muss die Verkehrssicherheit der übrigen Benützer (Fussgänger, Radfahrer, Motorfahrzeugfahrer, öffentliche Dienste) gewährleisten sowie den Anforderungen des Natur- und Heimatschutzes, des Umweltschutzes sowie weiteren wichtigen Anforderungen der Raumplanung (wie haushälterische Bodennutzung) genügen (Entscheid 1P.115/1992 vom 6. Mai 1993 E. 4, publ. in ZBl 95/1994 S. 89 und URP 1993 S. 449; André Jomini, RPG-Kommentar, Art. 19 N 19 ff.).
Was als hinreichende Zufahrt gilt, hängt von der beanspruchten Nutzung des Grundstücks sowie von den massgeblichen (namentlich örtlichen) Umständen des Einzelfalls ab (<ref-ruling> E. 6b S. 166; Waldmann/Hänni, a.a.O., Art. 19 N. 21). Dies ist grundstücksbezogen und differenziert zu bestimmen (Vera Marantelli-Sonanini, Erschliessung von Bauland, Diss. Bern 1997, S. 45). Dabei steht den kantonalen und kommunalen Behörden ein erhebliches Ermessen zu (<ref-ruling> E. 3a S. 68; Entscheid 1P.115/1992 vom 6. Mai 1993 E. 4, publ. in ZBl 95/1994 S. 89 und URP 1993 S. 449). Dieser Ermessensspielraum kommt nach Thurgauer Recht in erster Linie der Gemeinde zu (angefochtener Entscheid, E. 1d S. 5).
2.2.2 Das Verwaltungsgericht bejahte eine hinreichende Zufahrt gestützt auf die Tauglichkeitsstudie des Ingenieurbüros Widmer Pfister Leuch AG vom April 2007. Danach entspreche die bestehende Kiesstrasse, die langsam befahren werden müsse und damit eine reibungslose polyvalente Nutzung zulasse, einer in der Norm SN 640045 beschriebenen Zufahrt. Sie sei ausreichend befestigt und könne deshalb gelegentlich mit Motorfahrzeugen befahren werden. Für seltene Kreuzungsmanöver dürfe auf die angrenzenden Bankettflächen oder Vorplätze ausgewichen werden. Die Strasse verfüge über einen stabilen Unterbau (ca. 40 cm Wandkies) und über stabile Randbereiche (ohne Randabschlüsse). Sie werde i.d.R. über die Schulter entwässert, bei Vorplätzen oder Böschungen bestünden Schächte oder Geröllgräben. Solchermassen ausgestattete Zufahrten genügten i.d.R. zur Erschliessung von bis zu 30 Wohneinheiten. Im vorliegenden Fall würden jedoch lediglich acht bestehende, zwei geplante und sieben mögliche Wohneinheiten erschlossen sowie das Strandbad samt Kiosk. Mithin genüge die vorhandene Zufahrt für die geplanten und noch möglichen Wohnüberbauungen. Dabei sei darauf hinzuweisen, dass in diesem Gebiet lediglich eine Ausnützungsziffer von 0.1 zulässig sei, eine verdichtete Bauweise also ausgeschlossen sei.
2.2.3 Die Gemeinde teilt diese Auffassung. Sie betont in ihrer Vernehmlassung, dass die Strasse nicht von Seebadbesuchern benutzt werden dürfe; nur der Kioskbetreiber und der Bademeister seien vom Fahrverbot befreit. Von den bestehenden Bauten seien nur zwei eigentliche Wohnbauten; im Übrigen handle es sich um Kleinbauten/Ferienhäuschen. Auch von den noch möglichen neuen Bauten kämen aufgrund der geringen Ausnützungsziffer höchstens noch drei als eigentliche Wohnbauten in Frage. Die Beschwerdeführer hätten in ihrer Rekursschrift das tägliche Verkehrsaufkommen selbst auf 20 bis 28 Motorfahrzeuge pro Tag geschätzt; demgegenüber könne der hier in Frage stehende Strassentyp 50 Motorfahrzeuge pro Stunde verkraften.
Die Strasse sei auch für die Durchfahrt von schweren Motorfahrzeugen tauglich, wie ein Einsatz der Feuerwehr am 20. Juli 2006 belegt habe. Auch der Lastwagen- und Baumaschinenverkehr im Zusammenhang mit diversen Bauvorhaben (Strandbad, Pumpenhaus, Badehaus) habe ohne Weiteres bewältigt werden können. Auch aus verkehrstechnischer Sicht habe es bislang keinerlei Probleme hinsichtlich der gemischten Nutzung durch Fahrzeuge, Radfahrer und Fussgänger gegeben.
Der Ausbaustandard (Kies) gewährleiste einen beruhigten Langsamverkehr mit niedriger Frequenz, während bei Asphaltierung der Strasse mit höheren Geschwindigkeiten und damit höheren Gefahrenquellen und höheren Immissionen zu rechnen wäre. Auch im Hinblick auf allfällige Überflutungen, die in Abständen von mehreren Jahren vorkommen, sei der Kiesbelag günstiger.
Die Gemeinde gibt weiter zu Bedenken, dass es sich um einen landschaftlich sensiblen Bereich im BLN-Objekt Nr. 1411 handle. Auch dies rechtfertige es, hinsichtlich der strassenmässigen Erschliessung einen Minimalstandard beizubehalten. Auch in den benachbarten Gemeinden Eschenz und Salenstein bestünden vergleichbare Zufahrtsstrassen.
2.2.4 Die Beschwerdeführer legen nicht dar, inwiefern die Sachverhaltsfeststellungen des Verwaltungsgericht offensichtlich unrichtig sind. Sie machen einzig geltend, die Studie des Ingenieurbüros Widmer, Pfister und Leuch AG, auf die sich das Gericht gestützt habe, stelle keine unabhängige Expertise dar, weil das Ingenieurbüro ständig für das Bauamt von Ermatingen tätig sei und praktisch ein Teil des Bauamtes sei.
Dabei verkennen sie, dass es sich bei der Studie nicht um eine gerichtliche Expertise, sondern um ein im Auftrag der Gemeinde angefertigten Beurteilungsbericht handelt, dem somit der Stellenwert eines Amtsberichts oder Parteigutachtens zukommt. Als solches durfte es vom Verwaltungsgericht im Rahmen seiner Beweiswürdigung berücksichtigt werden.
Das Gutachten wurde von Fachleuten erstellt, unter Berücksichtigung der geometrischen Verhältnisse der Westerfeldstrasse, der bestehenden und noch möglichen Bebauung, der Querschnittsgestaltung und des Strassenunterhalts. Die Beschwerdeführer legen nicht dar, inwiefern die Studie unrichtige Feststellungen oder Schlussfolgerungen enthält. Unter diesen Umständen ist nicht ersichtlich, weshalb das Verwaltungsgericht nicht auf die Studie hätte abstellen dürfen.
2.2.5 Die Beschwerdeführer machen weiter geltend, nach der Studie der Widmer, Pfister und Leuch AG sei die Westerfeldstrasse nur zum "gelegentlichen" Befahren mit Motorfahrzeugen vorgesehen. Dies trifft zu. Aus den nachfolgenden Erwägungen der Studie ergibt sich jedoch, dass damit eine Belastbarkeit von bis zu 50 Fz/h für maximal 30 Wohneinheiten gemeint ist. Nachdem das fragliche Gebiet selbst nach vollständiger Ausschöpfung der Überbauungsmöglichkeiten maximal 17 Wohneinheiten umfassen kann (18 unter Berücksichtigung der Zufahrt zum Strandbad für den Bademeister und Kioskbetreiber), durfte das Verwaltungsgericht willkürfrei von einem nur "gelegentlichen" Motorfahrzeugverkehr ausgehen.
2.2.6 Da die Westerfeldstrasse vor allem von Radfahrern und Fussgängern benutzt wird, erscheint es sachgerecht, auf die - vom Departement verlangte - Asphaltierung der Strasse zu verzichten, um sicherzustellen, dass diese von den Anliegern nur langsam befahren werden kann. Das Nebeneinander von Fussgänger-, Rad- und motorisiertem Anliegerverkehr wurde vom Departement und vom Regierungsrat aus Sicht der Verkehrssicherheit als vertretbar erachtet. Vom 1. Juni bis 30. September, d.h. in dem Zeitraum mit dem grössten Verkehrsaufkommen, darf die Westerfeldstrasse von den Anliegern nur einseitig befahren werden (vgl. Entscheid des Regierungsrats vom 2. November 1999 Disp.-Ziff. 3), weshalb es nicht zu einer Kreuzung von Motorfahrzeugen kommen kann. Die Befahrbarkeit der Strasse für öffentliche Dienste (Feuerwehr, Krankenauto) ist durch verschiedene Einsätze erwiesen und wird auch von den Beschwerdeführern nicht bestritten.
2.3 Insofern ist die Einschätzung von Gemeinde und Verwaltungsgericht, wonach die bestehende Strasse eine hinreichende Zufahrt zur Bauparzelle darstellt, von Bundesrechts wegen nicht zu beanstanden. Ob die Strasse auch den kantonalen Erschliessungsanforderungen genügt, ist mangels entsprechender (rechtsgenügender) Rüge der Beschwerdeführer nicht zu prüfen.
Unter diesen Umständen braucht nicht mehr geprüft zu werden, ob die Gemeinde nach Treu und Glauben, aufgrund der Ende der 90er Jahre mit den Grundeigentümern abgeschlossenen Erschliessungsverträge, berechtigt bzw. verpflichtet gewesen wäre, geringere Anforderungen an die Erschliessung der Bauparzelle zu stellen. Auf die diesbezüglichen Rügen der Beschwerdeführer braucht daher nicht eingegangen zu werden.
3. Die Beschwerdeführer sind ferner der Auffassung, die geplante Baute weise mehr als ein Geschoss auf und sei daher in der Zone W1S unzulässig. Dem hielten Gemeinde, Baudepartement und Verwaltungsgericht entgegen, dass Art. 12 Abs. 5 des Baureglements der Gemeinde Ermatingen (BR) die Höchst- und Mindestmasse für die Zone W1S in Metern und nicht in Geschossen festhalte. Das Bauvorhaben, das diese Masse einhalte, sei daher bewilligungsfähig, auch wenn es mehr als ein Geschoss aufweise.
Diese Auslegung wird in der Beschwerdeschrift nicht mehr bestritten; auf die erst in der Replik erhobene Rüge kann nicht eingetreten werden.
Die Beschwerdeführer machen aber neu geltend, dass die in Art. 12 Abs. 5 BR enthaltenen Meterangaben nicht gültig beschlossen worden seien. Art. 12 BR sei an der Gemeindeversammlung vom 7. Mai 2003 vollumfänglich zur Überarbeitung zurückgewiesen worden. Der Gemeinderat habe jedoch einzig die Herabsetzung der maximalen Ausnützungsziffer von 0.2 auf 0.1 öffentlich aufgelegt und dem Referendum unterstellt. Insofern bestehe Art. 12 Abs. 5 des heute gültigen Baureglements nur aus "Ausnützungsziffer 0.1"; alle übrigen Bestimmungen von Abs. 5 (Gebäudehöhe, Firsthöhe, Gebäudelänge, ES) seien ungültig.
Ob auf diese Rüge eingetreten werden kann, kann offen bleiben, da sie offensichtlich unbegründet ist. Wie sich aus dem Protokoll der Gemeindeversammlung vom 7. Mai 2003 ergibt, war lediglich die vom Gemeinderat beantragte Erhöhung der Ausnützungsziffer von 0.1 auf 0.2 in der Zone W1S streitig; in der Gemeindeversammlung wurde deshalb der Antrag gestellt, die Erhöhung der Ausnützungsziffer an den Gemeinderat zur Überprüfung zurückzuweisen (Antrag Peter Hausammann, Gemeindeprotokoll, S. 5 oben). Dieser Antrag wurde grossmehrheitlich gutgeheissen. Insofern stimmte die Gemeindeversammlung allen anderen Bestimmungen von Art. 12 BR, einschliesslich der Angaben über Gebäudehöhen in Metern, zu.
4. Schliesslich machen die Beschwerdeführer geltend, zur Realisierung eines Radwegprojekts müssten die Eigentümer der Parzelle Nr. 687 und 891 ca. 150 m2 Land abtreten. Danach verblieben nur noch 950 m2, mit der Folge, dass das Bauvorhaben die Ausnützungsziffer von 0.1 überschreite.
Auch hierbei handelt es sich um ein Novum, zu dem das Verwaltungsgericht keine Stellung nehmen konnte. Sofern auf die Rüge überhaupt eingetreten werden kann, erweist sie sich als offensichtlich unbegründet: Wie die Gemeinde in ihrer Vernehmlassung darlegt, handelt es sich um einen vom Kanton zu planenden Radweg, dessen definitive Streckenführung in Ermatingen noch nicht feststeht und frühestens in der Planungsperiode 2009-2012 an die Hand genommen werden soll. Es besteht somit noch kein verbindliches Ausführungsprojekt, das die Bauparzelle für einen Radweg beanspruchen würde. Schon aus diesem Grund ist für die Ausnützungsberechnung von der jetzigen Grösse der Parzelle auszugehen.
5. Nach dem Gesagten erweist sich die Beschwerde als unbegründet, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens tragen die Beschwerdeführer die Gerichtskosten und haben keinen Anspruch auf eine Parteientschädigung (Art. 66 und 68 BGG).
Grundsätzlich hat auch die Gemeinde Ermatingen, die in ihrem amtlichen Wirkungskreis obsiegt, keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 3 BGG; vgl. <ref-ruling> E. 7 S. 118 f.). Allerdings ist im vorliegenden Fall zu berücksichtigen, dass die Beschwerdeführer vor Bundesgericht zahlreiche Nova erhoben haben, welche die Gemeinde zu umfangreichen Stellungnahmen veranlasste. Insofern erscheint es angemessen, der Gemeinde ausnahmsweise eine angemessene Entschädigung zuzusprechen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3. Die Beschwerdeführer haben die Gemeinde Ermatingen für das bundesgerichtliche Verfahren mit Fr. 1'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Politischen Gemeinde Ermatingen, dem Departement für Bau und Umwelt sowie dem Verwaltungsgericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 16. September 2008
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Die Gerichtsschreiberin:
Aemisegger Gerber