Sachverhalt:
A.
Der Weiler Seestatt (Gemeinde Altendorf) befindet sich auf einer schwach ausgeprägten Landzunge direkt am Zürichsee. Er ist im Bundesinventar der schützenswerten Ortsbilder der Schweiz von nationaler Bedeutung (ISOS) aufgenommen. Die "kompakte Altbebauung mit Gasthöfen und Fischerhäusern" (Gebiet G1) hat das Erhaltungsziel A; der Uferstreifen zwischen Bahnlinie und See wird der Umgebungsschutzzone I mit Erhaltungsziel a zugewiesen.
B.
Am 13. Mai 2014 reichten E. und F. B._ ein Gesuch um Abbruch des bestehenden und Bau eines neuen Wohnhauses auf der Parzelle Nr. 73 (Tüchelweg 3) ein, innerhalb des Gebiets G1 gemäss ISOS. Gegen das Baugesuch erhoben u.a. A., B., C. und D. A._ Einsprache.
Das kantonale Amt für Raumentwicklung (ARE/SZ) erteilte am 9. September 2014 die kantonale Baubewilligung (Gesamtentscheid) unter Auflagen und Nebenbestimmungen und wies die Einsprachen für den kantonalen Zuständigkeitsbereich ab. Am 26. September 2014 beschloss der Gemeinderat Altendorf die nachgesuchte Baubewilligung mit gewissen Änderungen und wies seinerseits die Einsprachen ab. Er erteilte die Ausnahmebewilligung für die Unterschreitung des Gewässerabstandes gemäss Art. 41c Abs. 1 Satz 2 der Gewässerschutzverordnung vom 28. Oktober 1998 (GSchV; SR 814.201).
C.
Gegen die Baubewilligung erhoben A., B., C. und D. A._ Beschwerde an den Regierungsrat des Kantons Schwyz. Dieser führte einen Augenschein durch und wies am 14. April 2015 die Beschwerde ab.
Das Verwaltungsgericht des Kantons Schwyz wies die dagegen erhobene Beschwerde am 26. August 2015 ab.
D.
Dagegen gelangten A., B., C. und D. A._ am 26. Oktober 2015 mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht. Sie beantragen, der angefochtene Entscheid sei aufzuheben und die mit Gesamtentscheid des ARE/SZ vom 9. September 2014 und Entscheid des Gemeinderats Altendorf vom 26. September 2014 bewilligten baulichen Massnahmen seien zu verweigern. Eventuell sei die Angelegenheit zur Neubeurteilung im Sinne der Begründung an die Vorinstanz zurückzuweisen. Weiter ersuchen sie um die Durchführung eines Augenscheins und um die Erteilung der aufschiebenden Wirkung.
E.
Die Gemeinde Altendorf und das Verwaltungsgericht schliessen auf Abweisung der Beschwerde. E. und F. B._ (im Folgenden: die Beschwerdegegner) und der Regierungsrat beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die kantonalen Ämter für Raumentwicklung und für Umwelt (AFU/SZ) haben auf eine Stellungnahme verzichtet.
Das Bundesamt für Umwelt (BAFU) kommt in seiner Vernehmlassung zum Ergebnis, dass die Voraussetzungen für die Erteilung einer Ausnahmebewilligung nach Art. 41c Abs. 2 GSchV nicht vorliegen. Es sei auch fraglich, ob das Bauvorhaben (Abbruch und Neubau mit zusätzlicher Beanspruchung des Uferraums) unter die Bestandesgarantie falle.
Nach Auffassung des Bundesamts für Kultur (BAK) trägt der angefochtene Entscheid dem Ortsbildschutz als übergeordnetem öffentlichem Interesse nicht genügend Rechnung; sollte er bestätigt werden, wären wesentliche Eigenschaften des Ortsbilds von Seestatt und damit dessen nationale Bedeutung gefährdet.
F.
Im weiteren Schriftenwechsel halten die Beteiligten an ihren Anträgen fest. Die Beschwerdegegner beantragen ihrerseits die Vornahme eines Augenscheins und die Einholung eines Fachberichts der kantonalen Denkmalpflege.
G.
Mit Verfügung vom 24. November 2015 wurde der Beschwerde die aufschiebende Wirkung erteilt.
H.
Das Bundesgericht hat am 30. November 2016 in öffentlicher Sitzung über die Beschwerde beraten und entschieden.

Erwägungen:
1.
Gegen den kantonal letztinstanzlichen Endentscheid des Verwaltungsgerichts steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht offen (Art. 82 lit. a, 86 Abs. 1 lit. d und 90 BGG).
1.1. Die Beschwerdeführer haben als Eigentümer der an das Baugrundstück angrenzenden Parzelle Nr. 75 eine besondere Beziehungsnähe zum Bauvorhaben und sind daher zur Beschwerde legitimiert (<ref-law>), auch wenn sie die Verletzung von Normen rügen, die Allgemeininteressen schützen (Ortsbild- und Gewässerschutz). Nach ständiger Rechtsprechung genügt es, wenn ihnen die Gutheissung der Beschwerde einen praktischen Nutzen verschafft, insbesondere das streitige Bauvorhaben nicht wie geplant realisiert werden kann (<ref-ruling> E. 2.3 S. 34). Auf die rechtzeitig erhobene Beschwerde (<ref-law>) ist daher einzutreten.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht - einschliesslich Überschreitung oder Missbrauch des Ermessens - gerügt werden (<ref-law>). Das Bundesgericht wendet das Bundesrecht grundsätzlich von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten (einschliesslich die willkürliche Anwendung von kantonalem oder kommunalem Recht) prüft es dagegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und genügend begründet worden ist (<ref-law>; <ref-ruling> E. 1.4.2 S. 254 mit Hinweisen).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat, sofern dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 und Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel können nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
1.3. Im Folgenden sind zunächst die Rügen zum Gewässerraum zu behandeln.
2.
<ref-law> (SR 814.20) verpflichtet die Kantone, den Raumbedarf der oberirdischen Gewässer festzulegen, der erforderlich ist für die Gewährleistung der natürlichen Funktionen der Gewässer, des Schutzes vor Hochwasser und der Gewässernutzung (Gewässerraum). Diese Anforderungen werden in den Art. 41a GSchV (für Fliessgewässer) und Art. 41b GSchV (für stehende Gewässer) präzisiert. Die Kantone sorgen dafür, dass der Gewässerraum bei der Richt- und Nutzungsplanung berücksichtigt sowie extensiv gestaltet und bewirtschaftet wird (<ref-law>).
2.1. Da in der Gemeinde Altendorf für den Zürichsee noch kein Gewässerraum nach den neuen gewässerschutzrechtlichen Bestimmungen ausgeschieden wurde, gelten vorläufig die Übergangsbestimmungen zur Änderung der Gewässerschutzverordnung vom 4. Mai 2011. Danach sind die Vorschriften für Anlagen nach Artikel 41c Absätze 1 und 2 GSchV bei stehenden Gewässern mit einer Wasserfläche von mehr als 0,5 ha auf einem Streifen von 20 m Breite entlang dem Gewässer anwendbar (Abs. 2 lit. c). Dies entspricht dem kantonalen Gewässerabstand, den Bauten und Anlagen gegenüber Seen mindestens einzuhalten haben (gemäss § 66 Abs. 1 des Schwyzer Planungs- und Baugesetzes vom 14. Mai 1987 [PBG/SZ; SRSZ 400.100]).
2.2. Im Gewässerraum dürfen nur standortgebundene, im öffentlichen Interesse liegende Anlagen wie Fuss- und Wanderwege, Flusskraftwerke oder Brücken erstellt werden. In dicht überbauten Gebieten kann jedoch die Behörde für zonenkonforme Anlagen Ausnahmen bewilligen, soweit keine überwiegenden Interessen entgegenstehen (Art. 41c Abs. 1 Satz 2 GSchV; seit 1. Jan. 2016 lit. a [AS 2015 4791]). Rechtmässig erstellte und bestimmungsgemäss nutzbare Anlagen im Gewässerraum sind in ihrem Bestand grundsätzlich geschützt (Abs. 2).
Ausnahmen vom kantonalen Gewässerabstand sind nach § 73 Abs. 1 PBG/SZ innerhalb der Bauzone möglich, wenn und soweit besondere Verhältnisse es rechtfertigen. Eine Ausnahmebewilligung muss mit den öffentlichen Interessen vereinbar sein und darf keine wesentlichen Interessen von Nachbarn verletzen (Abs. 2).
2.3. Das streitige Bauprojekt kommt mit seiner Nordfassade rund 15 m vom See entfernt zu liegen, d.h. es ragt 5 m in den Gewässerabstand hinein. Alle Vorinstanzen gingen deshalb davon aus, dass es auf eine Ausnahmebewilligung nach Art. 41c Abs. 1 GSchV und § 73 PBG/SZ angewiesen sei. Dies ist nicht zu beanstanden; es wird denn auch von keiner Seite geltend gemacht, dass der Neubau Bestandesschutz nach Art. 41c Abs. 2 GSchV in Verbindung mit § 72 PBG/SZ beanspruchen könne (vgl. dazu Urteil 1C_473/2015 vom 22. März 2016 E. 4, in: URP 2016 S. 375). Die Gemeinde hielt in der Baubewilligung (S. 3 lit. b) vielmehr ausdrücklich fest, dass es sich nicht um einen Wiederaufbau nach § 72 Abs. 3 PBG/SZ handle, sondern um einen Neubau.
Zu prüfen ist daher, ob das Verwaltungsgericht zu Recht die Erteilung einer Ausnahmebewilligung nach Art. 41c Abs. 1 lit. a GSchV und § 73 PBG/SZ bestätigt hat. Die bundesrechtlichen Voraussetzungen prüft das Bundesgericht frei, die kantonalen nur unter dem Blickwinkel der Willkür (oben E. 1.2).
2.4. Eine Ausnahmebewilligung nach Art. 41c Abs. 1 lit. a GSchV setzt voraus, dass die Bauparzelle im dicht überbauten Gebiet liegt.
Im Erläuternden Bericht des BAFU vom 20. April 2011 zur Parlamentarischen Initiative Schutz und Nutzung der Gewässer (07.492) - Änderung der Gewässerschutz-, Wasserbau-, Energie- und Fischereiverordnung wird dargelegt, dass die Ausscheidung eines Gewässerraums in Städten oder Dorfzentren, die dicht überbaut sind (z.B. städtische Quartiere in Basel am Rhein oder in Zürich an der Limmat), oft nicht oder nur den Gegebenheiten angepasst sinnvoll sei. Die Ausnahmebewilligung nach Art. 41c Abs. 1 Satz 2 GSchV solle hier eine Siedlungsentwicklung nach innen und eine aus Sicht der Raumplanung erwünschte städtebauliche Verdichtung ermöglichen (a.a.O. S. 15). Ausserhalb der dicht überbauten Zentren, z.B. in locker überbauten Aussenquartieren, sei der Gewässerraum dagegen nach den Vorgaben von Art. 41a Abs. 1-3 GSchV bzw. Art. 41b Abs. 1 und 2 GSchV auszuscheiden (a.a.O., S. 12 und 13).
Das Bundesamt für Raumentwicklung (ARE) und das BAFU haben in Zusammenarbeit mit den Kantonen das Merkblatt "Gewässerraum im Siedlungsgebiet" vom 18. Januar 2013 erarbeitet. Darin wird unter anderem festgehalten, dass eine Ausnahme von den Mindestbreiten ermöglicht werden solle, wo der Gewässerraum die natürlichen Funktionen auch auf lange Sicht nicht erfüllen könne. Dabei liege der Fokus auf dem Land entlang dem Gewässer und nicht (wie beim raumplanerischen Begriff des weitgehend überbauten Gebiets) auf dem Siedlungsgebiet als Ganzem (a.a.O., S. 3-4). Der Betrachtungsperimeter sei in einer Einzelfallbeurteilung zu definieren. Er müsse sich entweder logisch abgrenzen lassen (Strassengeviert, Topographie, Bebauungsmuster) oder mindestens eine Fläche von 5'000 m2 aufweisen (in Längsrichtung und nur einseitig des Gewässers; a.a.O., S. 11). Das Merkblatt enthält eine Kriterienliste zur Bestimmung des dicht überbauten Gebiets, betont aber, dass den Kantonen ein Spielraum zustehe. Es seien Aspekte der Gewässer- und der Siedlungsentwicklung heranzuziehen und sowohl übergeordnete Konzepte als auch die konkrete Situation vor Ort zu berücksichtigen (a.a.O., S. 4). Für dicht überbautes Gebiet spreche der Umstand, dass es sich um eine Zentrums- oder Kernzone oder einen Entwicklungsschwerpunkt handle; gegen diese Qualifikation spreche das Vorhandensein bedeutender Grünräume oder von Gewässerabschnitten mit ökologischer oder landschaftlicher Bedeutung (im Ist-Zustand oder nach getroffenen Aufwertungsmassnahmen). Zu berücksichtigen seien weiter die Bebaubarkeit und die Parzellenfläche, die bauliche Nutzung in der Umgebung und die Nähe zu öffentlichen Anlagen an Gewässern. Im Einzelfall könnten Gewässerzustand und -grösse eine Rolle spielen (a.a.O., S. 4-6).
2.5. Das Verwaltungsgericht erachtete es als rechtlich vertretbar, von einem die Seestatt abdeckenden Betrachtungsperimeter auszugehen. Es handle sich siedlungsmässig um eine Einheit, wobei die Kompaktheit der Altbebauung bzw. die ausserordentlich dichte Bebauung, welche geschlossene und vergleichsweise ursprünglich wirkende Gassenräume umschliesse, im ISOS besonders hervorgehoben werde. Zu dieser Einheit sei auch die Bauliegenschaft zu zählen. Das Ufer sei "hart verbaut" und mit einer Schiffsanlegestelle der Zürichsee-Schifffahrtsgesellschaft versehen; insbesondere bestehe auch im Bereich des Baugrundstücks eine Ufermauer. Schliesslich erscheine das Gebiet der Seestatt vom See her insgesamt als dicht bebaut.
2.6. Dem widersprechen die Beschwerdeführer und das BAFU: Nach der bundesgerichtlichen Rechtsprechung müsse ein genügend grosser Betrachtungsperimeter gewählt werden; Planungsperimeter sei - jedenfalls in kleineren Gemeinden - in der Regel das gesamte Gemeindegebiet, wobei der Fokus auf dem Land entlang dem Gewässer liege. Vorliegend befinde sich die Bauparzelle am Rand des Weilers Seestatt; dieser werde durch Grünflächen und eine Bahnlinie vom Hauptsiedlungsgebiet von Altendorf abgetrennt. Dem Seeufer entlang gebe es grüne Flächen mit wenig Überbauung (u.a. Schiffshafen). Es bestehe denn auch kein Interesse an einer verdichteten Überbauung des Gewässerraums: Gemäss ISOS-Eintrag sei auf eine weitere Überbauung der Umgebung der Seestatt "dringend zu verzichten".
2.7. Das Bundesgericht hat sich seit der GSchV-Revision vom 4. Mai 2011 mehrfach mit dem Begriff des "dicht überbauten Gebiets" befasst. Schon im ersten Entscheid (<ref-ruling>) betreffend eine Überbauung an der Wigger, in der Gemeinde Dagmersellen, hielt es fest, dass dieser Begriff nicht nur für die Ausnahmebewilligung nach Art. 41c Abs. 1 GSchV verwendet werde, sondern auch für die planerische Festlegung des Gewässerraums gemäss Art. 41a Abs. 4 und Art. 41b Abs. 3 GSchV. Eine sachgerechte Planung setze einen genügend gross gewählten Perimeter voraus. Planungsperimeter sei - zumindest in kleineren Gemeinden - in der Regel das Gemeindegebiet. Dabei liege der Fokus auf dem Land entlang des Gewässers. Wie die Beispiele im Erläuternden Bericht zeigten, habe der Verordnungsgeber eine Anpassung des Gewässerraums bzw. Ausnahmebewilligungen vor allem in dicht überbauten städtischen Quartieren und Dorfzentren zulassen wollen, die (wie Basel und Zürich) von Flüssen durchquert werden. In solchen Gebieten sollten die raumplanerisch erwünschte städtebauliche Verdichtung und die Siedlungsentwicklung nach Innen ermöglicht und Baulücken geschlossen werden können. Dagegen bestehe in peripheren Gebieten, die an ein Fliessgewässer angrenzten, regelmässig kein überwiegendes Interesse an einer verdichteten Überbauung des Gewässerraums. Hier müsse daher der minimale Raumbedarf des Gewässers (gemäss Art. 41a Abs 2 und Art. 41b Abs. 1 GSchV) grundsätzlich respektiert und von nicht standortgebundenen Anlagen freigehalten werden. Der Verordnungsgeber habe mit dem Begriff "dicht überbaut" denn auch zum Ausdruck gebracht, dass eine "weitgehende" Überbauung (wie in Art. 36 Abs. 3 RPG) nicht genüge (<ref-ruling> E. 7 S. 434 f.). Diese Grundsätze wurden in allen seither ergangenen Entscheiden bestätigt (<ref-ruling> E. 3 S. 440; Urteile 1C_473/2015 vom 22. März 2016 E. 5.2, in: URP 2016 S. 375; 1C_8/2016 vom 18. Januar 2016 E. 3.4).
Im Fall Dagmersellen verneinte das Bundesgericht das Vorliegen von dicht überbautem Gebiet trotz der am Ostufer der Wigger bereits vorhandenen Bauten und Anlagen (Erschliessungsstrasse, Brücken). Das Gebiet werde durch die Bahnlinie und einen Grüngürtel vom Hauptsiedlungsgebiet getrennt, d.h. es liege peripher, und sei insgesamt (unter Berücksichtigung der weiter nördlich und südlich entlang der Wigger vorhandenen Grünflächen) nicht dicht überbaut (<ref-ruling> E. 8 S. 435 f.). Daran ändere die Verbauung der Wigger im fraglichen Abschnitt nichts: Das Bundesgericht hielt fest, dass der Gewässerraum den Raumbedarf des Gewässers langfristig sicherstellen solle, unabhängig vom Bestehen konkreter Revitalisierungsprojekte (<ref-ruling> E. 8.1 S. 436).
Im Fall Rüschlikon bejahte das Bundesgericht dagegen das Vorliegen von dicht überbautem Gebiet, obwohl die am Zürichsee gelegene Bauparzelle und die unmittelbar angrenzenden Parzellen bei isolierter Betrachtung über viel Grünraum verfügten. Ausschlaggebend war hier, dass die Bauparzelle nicht peripher, sondern im Hauptsiedlungsgebiet der Agglomeration am linken Seeufer lag, das praktisch durchgehend überbaut war; hinzu kam, dass auch die Bauparzelle und die benachbarten Parzellen seeseits mit Boots- und Badehäusern (bzw. Wochenendhäusern) in dichter Folge überstellt waren, so dass das Ufer - vom See aus betrachtet - auch im fraglichen Bereich als dicht überbaut erschien (<ref-ruling> E. 5.3 S. 443 f.).
Im Fall Freienbach verneinte das Bundesgericht wiederum die dichte Überbauung des Gebiets (Hurdnerfeld) : Die Bauparzelle lag auf einer etwa 31'000 m2 grossen Insel, die von den Hauptsiedlungsgebieten sowohl Pfäffikons als auch der Ortschaft Hurden (Freienbach) deutlich abgesetzt war. Die Insel selbst war nur locker bebaut und der Uferbereich grösstenteils mit naturbelassener Ufervegetation besetzt (Urteil 1C_473/2015 vom 22. März 2016 E. 5.7, in: URP 2016 S. 375).
2.8. Vorliegend geht es um ein Bauvorhaben im Weiler Seestatt. Dieser liegt am Seeufer und wird durch die Bahnlinie und einen Grüngürtel (Umgebungsschutzzone gemäss ISOS) vom Hauptsiedlungsbereich Altendorfs getrennt. Insofern handelt es sich nicht um ein Zentrumsgebiet oder einen Entwicklungsschwerpunkt, sondern um ein peripher gelegenes Gebiet. Der Weiler Seestatt selbst ist dicht überbaut. Er grenzt jedoch nur auf einer Länge von rund 100 m mit sechs Bauten an den See. Östlich und westlich davon ist das Seeufer durch grosse Grünflächen mit nur vereinzelten Bauten gekennzeichnet, die überwiegend nicht direkt am See stehen. Das Land entlang des Gewässers ist daher bei übergeordneter Betrachtung nicht dicht überbaut.
Nichts anderes ergibt sich, wenn man - mit den Vorinstanzen - einen engen, auf die Seestatt begrenzten Fokus zugrunde legen würde. Der Weiler weist zwar auf der Seefront (gegen Norden) und entlang der Gassen, d.h. nach innen, eine dichte Überbauung auf; auf der strassenabgewandten Seite der Häuser befanden sich dagegen traditionell Gärten und Obstbäume (vgl. ISOS, Altendorf-Seestatt, Siedlungsentwicklung); das ISOS weist die gesamte Nahumgebung des Weilers zwischen Ufer und Eisenbahnlinie der Umgebungsschutzzone (U-Zo I) mit Erhaltungsziel a zu, d.h. die Grünflächen sollen als unerlässlicher Teil des Ortsbildes erhalten werden; auf eine weitere Überbauung der Umgebung von Seestatt sei dringend zu verzichten. Der Weiler ist denn auch heute noch von einem Grüngürtel umgeben. trotz gewisser (z.B. südlich des Hafens) entstandener Bauten in der Umgebungsschutzzone.
Die Parzelle der Beschwerdegegner befindet sich am westlichen Rand des Weilers; auf der strassenabgewandten Seite steht heute ein hölzerner Anbau; daran anschliessend erstreckt sich eine Garten- bzw. Grünfläche bis zum See, die Teil der Umgebungsschutzzone bildet. Aus Sicht der Siedlungsentwicklung ist eine bauliche Verdichtung in diese Richtung gerade nicht erwünscht. Es handelt sich insoweit nicht um eine Baulücke.
Unter diesen Umständen liegt kein dicht überbautes Gebiet vor, weshalb es bereits an der ersten Voraussetzung für die Erteilung einer Ausnahmebewilligung nach Art. 41c Abs. 1 lit. a GSchV fehlt.
Daran ändert die gute Anbindung an den öffentlichen Verkehr (Schiffsanlegestelle, nahegelegene S-Bahnstation Altenwegen) und die begehrte Wohnlage nichts. Raumplanerisch kann die gute Erschliessung eines Gebiets ein Argument für dessen Verdichtung sein. Aus Sicht des Gewässerschutzes rechtfertigt sich der Verzicht auf die Freihaltung des Gewässerraums aber nur in Gebieten, die bereits so dicht überbaut sind, dass der Gewässerraum seine natürliche Funktion auch auf lange Sicht nicht erfüllen kann. Dies ist vorliegend, wie aufgezeigt, nicht der Fall. Es wird vielmehr Aufgabe der (im Kanton Schwyz zuständigen) Gemeinde Altendorf sein, den Gewässerraum am Zürichsee und dessen Ausgestaltung definitiv festzulegen. Bis dahin können keine Überbauungen bewilligt werden, die den Handlungsspielraum der Gemeinde beschränken und allfällige Revitalisierungsplanungen negativ präjudizieren würden.
3.
Ergänzend ist darauf hinzuweisen, dass der Ausnahmebewilligung auch überwiegende Interessen des Ortsbildschutzes entgegenstehen würden oder jedenfalls eine Begutachtung durch die Eidgenössische Natur- und Heimatschutzkommission (ENHK) bzw. die Eidgenössische Kommission für Denkmalpflege (EKD) erforderlich wäre (<ref-law>).
3.1. Die Erteilung einer Ausnahmebewilligung im Gewässerraum nach Art. 41c Abs. 1 GSchV als bundesrechtlich geregelte Spezial- bzw. Ausnahmebewilligung mit engem Bezug zum Natur- und Heimatschutz stellt eine Bundesaufgabe i.S.v. <ref-law> und <ref-law> dar (vgl. zu anderen gewässerrechtlichen Spezialbewilligungen Urteile 1C_482/2012 vom 14. Mai 2014 E. 3.4 und 3.5, in: URP 2014 S. 637; RDAF 2015 I S. 370; 1C_821/2013 vom 30. März 2015 E. 3.2 in: URP 2015 S. 301). Damit ist das ISOS bei der nach Art. 41c Abs. 1 GSchV erforderlichen Interessenabwägung unmittelbar anwendbar.
3.2. Durch die Aufnahme eines Objektes von nationaler Bedeutung in ein Inventar des Bundes wird dargetan, dass es in besonderem Masse die ungeschmälerte Erhaltung, jedenfalls unter Einbezug von Wiederherstellungs- oder angemessenen Ersatzmassnahmen die grösstmögliche Schonung verdient (<ref-law>). Ein Abweichen von der ungeschmälerten Erhaltung im Sinne der Inventare darf bei Erfüllung einer Bundesaufgabe nur in Erwägung gezogen werden, wenn ihr bestimmte gleich- oder höherwertige Interessen von ebenfalls nationaler Bedeutung entgegenstehen (<ref-law>). Kann ein Inventarobjekt erheblich beeinträchtigt werden oder stellen sich in diesem Zusammenhang grundsätzliche Fragen, so hat die Entscheidbehörde ein Gutachten der eidgenössischen Kommission nach <ref-law> einzuholen; diese gibt im Gutachten an, ob das Objekt ungeschmälert zu erhalten oder wie es zu schonen ist.
3.3. Das Neubauprojekt setzt den Abbruch des im Gebiet G1 mit Erhaltungsziel A (Substanzerhalt) gelegenen Altbaus voraus und widerspricht damit klar den Schutzzielen des ISOS. Zudem ragt es weiter in die gemäss ISOS freizuhaltende Umgebungszone (Erhaltungsziel a) hinein als der bisherige Anbau und widerspricht daher auch dem Ziel, die Kultur- und Freiflächen um den Weiler herum zu erhalten. Das BAK qualifiziert das Projekt als massive Beeinträchtigung des Ortsbildes als Ganzes, das wesentliche Eigenschaften des Ortsbildes von Seestatt und damit dessen nationale Bedeutung gefährde.
Die kantonalen Behörden machen dagegen geltend, der Weiler Seestatt habe sich seit seiner Aufnahme ins ISOS 1975 (bzw. der 2. Fassung 1986) verändert; insbesondere seien im Bereich westlich des Tüchelwegs bereits mehrere historische Bauten abgerissen und z.T. durch moderne Bauten ersetzt worden. Die kantonale Denkmalpflege wirft deshalb in ihrer Stellungnahme vom 25. Mai 2016 die Frage auf, ob das ISOS und seine Erhaltungsziele für den Weiler Seestatt revidiert werden müssten. Während das Verwaltungsgericht ein überwiegendes öffentliches Interesse an der Erhaltung des streitigen Altbaus verneinte und davon ausging, das Neubauprojekt ordne sich genügend in das Ortsbild ein, vertritt das BAK als Fachstelle des Bundes die Auffassung, dass die bereits eingetretenen Beeinträchtigungen die Schutzwürdigkeit des Ortsbilds nicht in Frage stellen, sondern im Gegenteil dazu führen, dass keine weiteren Beeinträchtigungen in Kauf genommen werden dürften.
Bei den aufgeworfenen Fragen handelt es sich um Grundsatzfragen im Zusammenhang mit dem ISOS-Schutzobjekt. Diese können gemäss <ref-law> von der Entscheidbehörde nicht allein entschieden werden, sondern setzen ein Gutachten der EDK bzw. ENHK voraus. Da jedoch ohnehin - mangels Vorliegens eines dicht überbauten Gebiets - keine Ausnahmebewilligung erteilt werden kann, erübrigt sich eine Rückweisung zur Einholung eines solchen Gutachtens. Aus demselben Grund kann auch auf den beantragten Augenschein verzichtet werden.
4.
Nach dem Gesagten ist die Beschwerde gutzuheissen, der angefochtene Entscheid aufzuheben und der Bauabschlag zu erteilen.
Bei diesem Ausgang des Verfahrens werden die privaten Beschwerdegegner kosten- und entschädigungspflichtig (Art. 66 und 68 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen, der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 26. August 2015 aufgehoben und das Baugesuch vom 13. Mai 2014 abgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- werden den privaten Beschwerdegegnern auferlegt.
3.
Die privaten Beschwerdegegner haben die Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und Entschädigungen des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Schwyz zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Gemeinderat Altendorf, dem Amt für Raumentwicklung des Kantons Schwyz, dem Amt für Umweltschutz des Kantons Schwyz, dem Regierungsrat des Kantons Schwyz, dem Verwaltungsgericht des Kantons Schwyz, Kammer III, dem Bundesamt für Umwelt und dem Bundesamt für Kultur schriftlich mitgeteilt.
Lausanne, 30. November 2016
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Gerber