Sachverhalt:
A.
A._ ist Eigentümer des Grundstücks KTN xxx am Weg X._ in U. _. Dieses liegt in der Kernzone I und grenzt im Osten an den Zugersee.
Am 5. Oktober 2012 reichte A._ beim Bezirksrat Küssnacht ein überarbeitetes Baugesuch für den Abbruch des bestehenden Ge-bäudes auf der Parzelle KTN xxx und den Neubau eines Einfamilienhauses mit zwei Nebengebäuden ein. Dagegen erhoben B.B._ und die weiteren im Rubrum aufgeführten Mitbeteiligten Einsprache.
Das kantonale Amt für Raumentwicklung (ARE/SZ) erteilte am 9. Juli 2014 die kantonale Baubewilligung mit Nebenbestimmungen und wies die Einsprachen ab. Der Bezirksrat Küssnacht wies die Einsprachen mit Beschluss vom 3. September 2014 ebenfalls ab und erteilte sowohl die Baubewilligung für den Abbruch bzw. Ersatzbau mit Nebenbestimmungen als auch die Ausnahmebewilligung zur Unterschreitung des Gewässerabstandes.
B.
Die von den Einsprechern erhobene Beschwerde hiess der Regierungsrat des Kantons Schwyz am 25. August 2015 insoweit gut, als für den geplanten Sitzplatz und den Verbundsteinweg keine Bewilligung erteilt werden könne; im Übrigen wies er sie ab. Daraufhin gelangten die Einsprecher an das Verwaltungsgericht des Kantons Schwyz, das ihre Beschwerde mit Entscheid vom 27. Januar 2017 guthiess und den regierungsrätlichen Beschluss, den Beschluss des Bezirksrats Küssnacht sowie den Gesamtentscheid des ARE/SZ im Sinne der Erwägungen aufhob. Zur Begründung hielt es im Wesentlichen fest, die im Gewässerraum geplante Baute liege nicht in einem dicht überbauten Gebiet, weshalb eine Ausnahmebewilligung gestützt auf Art. 41c Abs. 1 lit. a der Gewässerschutzverordnung (GSchV; SR 814.201) nicht in Frage komme. Ausserdem könne auch keine Ausnahmebewilligung zur Unterschreitung des Gewässerabstandes nach § 73 des Planungs- und Baugesetzes vom 14. Mai 1987 (PBG/SZ; SRSZ 400.100) erteilt werden.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 29. Februar 2016 gelangt A._ an das Bundesgericht und beantragt die Aufhebung des Urteils vom 27. Januar 2016 des Verwaltungsgerichts. Der Baubewilligungsbeschluss des Bezirksrats Küssnacht mit integriertem Einspracheentscheid sowie der Gesamtentscheid des ARE/SZ seien zu bestätigen und die Baubewilligung für den Ersatzbau sei zu erteilen.
Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde. Das ARE/SZ, das kantonale Amt für Umwelt, der Regierungsrat und der Bezirksrat Küssnacht verzichten auf eine Stellungnahme. B.B._ und die weiteren Mitbeteiligten (Beschwerdegegner) beantragen, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Das ebenfalls zur Vernehmlassung eingeladene Bundesamt für Umwelt (BAFU) kommt im Rahmen seiner Zuständigkeit zum Schluss, der angefochtene Entscheid sei mit dem bundesrechtlichen Umweltrecht vereinbar. Der Beschwerdeführer hält in der Replik an seinen Anträgen fest.

Erwägungen:
1.
Angefochten ist ein letztinstanzlicher kantonaler Entscheid über eine Baubewilligung (Art. 82 lit. a und Art. 86 Abs. 1 lit. d BGG). Dieser hob die kantonale und kommunale Baubewilligung auf, weshalb nicht - wie von den Beschwerdegegnern vorgebracht - ein Zwischenentscheid, sondern ein anfechtbarer Endentscheid vorliegt (<ref-law>). Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen; ein Ausschlussgrund nach <ref-law> ist nicht gegeben. Der Beschwerdeführer ist als Baugesuchsteller zur Beschwerdeführung befugt (<ref-law>).
2.
2.1. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. Gemäss <ref-law> ist in der Rechtsschrift in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Der Beschwerdeführer muss sich wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzen. Rein appellatorische Kritik ohne Bezug zum angefochtenen Entscheid genügt nicht. Zwar wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (<ref-law>). Das setzt aber voraus, dass auf die Beschwerde überhaupt eingetreten werden kann, diese also wenigstens die Begründungsanforderungen von <ref-law> erfüllt. Strengere Anforderungen gelten, wenn die Verletzung von Grundrechten - einschliesslich der willkürlichen Anwendung von kantonalem Recht - geltend gemacht wird. Dies prüft das Bundesgericht nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Das Bundesgericht prüft in diesem Sinne nur klar und detailliert erhobene und, soweit möglich, belegte Rügen (<ref-ruling> E. 2 S. 88 ff.; <ref-ruling> E. 2.1 f. S. 245 f.; je mit Hinweisen).
2.2. Unstreitig ist, dass der Kanton Schwyz für den Zugersee den Gewässerraum noch nicht ausgeschieden hat, weshalb die Nutzungseinschränkungen gemäss Art. 41c Abs. 1 und 2 GSchV bei stehenden Gewässern mit einer Wasserfläche von mehr als 0.5 ha auf einem Streifen von 20 m zu beachten sind (Abs. 2 lit. c der Übergangsbestimmungen zur Änderung der GSchV vom 4. Mai 2011). Danach kann die Behörde in dicht überbauten Gebieten für zonenkonforme Anlagen Ausnahmen bewilligen, sofern keine überwiegenden Interessen entgegenstehen (Art. 41c Abs. 1 lit. a GSchV). Zudem sind rechtmässig erstellte und bestimmungsgemäss nutzbare Anlagen im Gewässerraum in ihrem Bestand grundsätzlich geschützt (Art. 41c Abs. 2 GSchV).
Auch nach § 66 Abs. 1 PBG/SZ haben Bauten und Anlagen gegenüber Seen einen Mindestabstand von 20 m ab der Grenze der Wasserzone einzuhalten. Das geplante Bauvorhaben sieht aber lediglich einen Seeuferabstand von 15.26 m vor und befindet sich mit einer Fläche von 67.4 m 2 im Gewässerraum.
2.3. Das Verwaltungsgericht erwog im angefochtenen Entscheid, das geplante Bauprojekt liege nicht in einem dicht überbauten Gebiet im Sinne von Art. 41c Abs. 1 lit. a GSchV. Wie es sich damit aber im Einzelnen verhalte, könne letztlich dahingestellt bleiben, da der vorgesehene Ersatzbau, der unbestrittenermassen nicht (mehr) unter die Bestandesgarantie falle, die Voraussetzungen für eine Ausnahmebewilligung gemäss § 73 PBG/SZ zur Unterschreitung des kantonalen Gewässerabstands ohnehin nicht erfülle. Nach dieser Bestimmung kann die zuständige Bewilligungsbehörde für Bauten und Anlagen innerhalb der Bauzone Ausnahmen von den im PBG/SZ oder in den Bauvorschriften der Gemeinden festgelegten Bestimmungen bewilligen, wenn und soweit besondere Verhältnisse es rechtfertigen, insbesondere wenn sonst eine unzumutbare Härte einträte (lit. a) oder dank der Abweichung wegen der örtlichen Gegebenheiten eine bessere Lösung erzielt werden kann (lit. b). Eine Ausnahmebewilligung muss mit den öffentlichen Interessen vereinbar sein und darf keine wesentlichen Interessen von Nachbarn verletzen (Abs. 2).
2.4. Das PBG/SZ sieht für die Unterschreitung des kantonalrechtlichen Gewässerabstands strengere Vorschriften vor als die GSchV für Anlagen im übergangsrechtlichen Uferstreifen: Während § 73 PBG/SZ unter Vorbehalt der Vereinbarkeit mit den öffentlichen Interessen das Vorliegen eines Härtefalls oder die Erzielung einer besseren Lösung verlangt, reicht nach Art. 41c Abs. 1 lit. a GSchV aus, dass die zonenkonforme Anlage in einem dicht überbauten Gebiet liegt, sofern keine überwiegenden Interessen entgegenstehen. Eine solche kantonale Regelung ist nach der Rechtsprechung grundsätzlich zulässig (Urteile 1C_397/2015 vom 9. August 2016 E. 3.4; 1C_80/2015 vom 22. Dezember 2015 E. 2.4.3). Es liegt daher nahe, zunächst auf diese einzugehen, da sich eine Prüfung von Art. 41c Abs. 1 GSchV erübrigt, wenn die Vorinstanz die Erteilung einer Ausnahmebewilligung nach § 73 PBG/SZ verweigern durfte. Eine Bewilligung nach Art. 41c Abs. 2 GSchV fällt ausser Betracht, da hier unstreitig ist, dass das geplante Bauprojekt innerhalb der Bauzone nach kantonalem Recht keinen Bestandesschutz geniesst (vgl. Urteil 1C_473/2015 vom 22. März 2016 E. 4.2 f.).
2.5. Die Auslegung und Anwendung von kantonalem Gesetzesrecht prüft das Bundesgericht nur unter dem Gesichtspunkt der Willkür (vgl. E. 2.1 hiervor). Willkür in der Rechtsanwendung liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft; dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (<ref-ruling> E. 2.1 S. 18 f.; 167 E. 2.1 S. 168).
2.6. Der Beschwerdeführer zeigt in seiner Rechtsschrift nicht auf, worin er eine Verletzung von Bundesrecht erblickt. Er begnügt sich vielmehr damit, die Ausführungen und Rechtsstandpunkte des Regierungsrats zu wiederholen, ohne darzutun, inwiefern die Urteilsbegründung der Vorinstanz oder der angefochtene Entscheid selbst im Ergebnis rechts- bzw. verfassungswidrig sein soll. Es ist deshalb fraglich, ob sein Rechtsmittel den Begründungsforderungen gemäss <ref-law> genügt. Das kann indessen offen bleiben. Denn es ist auf jeden Fall vertretbar, wenn das Verwaltungsgericht erwog, bei einer Verweigerung der Unterschreitung des Gewässerabstandes liege keine unzumutbare Härte vor, denn es ist mit ihm davon auszugehen, dass ein Gebäude in den vorgegebenen Dimensionen nach wie vor ein zeitgerechtes Wohnen erlaubt und bei einer Beibehaltung der heutigen Beanspruchung des Gewässerraums die Grundfläche der Ersatzbaute immerhin eine um 23 % grössere Grundfläche aufweisen könnte. Ebenso ist es nachvollziehbar, wenn die Vorinstanz das Vorliegen von nennenswerten Besonderheiten und die Erzielung einer besseren Lösung durch die Abweichung vom Regelabstand zum Seeufer verneinte, denn die geplante Baute nimmt im Vergleich zum bestehenden Gebäude eine um 25 % grössere Fläche im Gewässerraum in Anspruch, was auch durch den um 3.5 m verlängerten Gewässerabstand nicht aufgewogen werden kann.
Soweit der Beschwerdeführer vorbringt, die Vorinstanzen des Verwaltungsgerichts hätten ihr Ermessen bei der Beurteilung der Voraussetzungen der Ausnahmebewilligung rechtmässig, sorgfältig und pflichtgemäss ausgeübt, weshalb das Verwaltungsgericht nicht hätte eingreifen dürfen, übersieht er, dass es sich bei den Kriterien der "unzumutbaren Härte" oder der "besseren Lösung" um unbestimmte Rechtsbegriffe handelt, deren korrekte Auslegung eine Rechtsfrage darstellt. Es war daher Aufgabe des Verwaltungsgerichts, die Rechtsanwendung der Vorinstanzen frei zu überprüfen. Ein Ermessen steht den Bewilligungsbehörden in erster Linie bei der Frage zu, ob - bei Vorliegen der Voraussetzungen nach § 73 PBG/SZ - eine Ausnahmebewilligung zu erteilen und wie der Ausnahmesituation Rechnung zu tragen ist (vgl. angefochtener Entscheid E. 5.1.2).
3.
Nach dem Gesagten erweist sich die Beschwerde als unbegründet soweit darauf einzutreten ist. Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (<ref-law>) und er hat den privaten Beschwerdegegnern eine angemessene Parteientschädigung zu entrichten (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die privaten Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Bezirksrat Küssnacht, dem Amt für Raumentwicklung, dem Amt für Umweltschutz, dem Regierungsrat, dem Verwaltungsgericht des Kantons Schwyz, Kammer III, und dem Bundesamt für Umwelt schriftlich mitgeteilt.
Lausanne, 10. Oktober 2016
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Merkli
Die Gerichtsschreiberin: Pedretti