Sachverhalt:
A.
Die Liegenschaft KTN "..." in Rickenbach, Gemeinde Schwyz, mit einer Fläche von 1'084 m2 befindet sich in der Zone W2D (2-geschossige Wohnzone-dicht). Darauf steht ein Einfamilienhaus (X._strasse "..."). B._ und C._ beabsichtigen, im südwestlichen Bereich der Parzelle ein Einfamilienhaus mit Einliegerwohnung (X._strasse "...") zu erstellen. Am 28. Mai 2014 erteilte der Gemeinderat Schwyz die Bewilligung für das Bauvorhaben unter gleichzeitiger Eröffnung des Gesamtentscheides des Amtes für Raumentwicklung des Kantons Schwyz vom 22. Mai 2014 und unter Abweisung einer Einsprache des Nachbarn (Liegenschaft KTN "...") A._. Am 3. März 2015 hiess der Regierungsrat des Kantons Schwyz eine Beschwerde des Nachbarn gut und hob den Bewilligungsentscheid des Gemeinderates auf, weil das Bauvorhaben die zulässige Ausnützungsziffer überschritt.
B.
In der Folge änderte die Bauherrschaft ihr Projekt. Am 29. Mai 2015 bewilligte der Gemeinderat im Wesentlichen das angepasste Bauvorhaben unter Auflagen und Bedingungen und wies gleichzeitig eine erneute Einsprache von A._ im Sinne der Erwägungen ab. Am 6. Juli 2015 überwies der Regierungsrat eine dagegen von A._ eingereichte Beschwerde an das Verwaltungsgericht des Kantons Schwyz. Dieses wies die Beschwerde am 18. Februar 2016 ab.
C.
A._ führt beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, den Entscheid des Verwaltungsgerichts aufzuheben und die ersuchte Baubewilligung nicht zu erteilen; eventuell sei die Sache zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen. Im Wesentlichen werden eine Verletzung des Anspruchs auf rechtliches Gehör sowie Willkür bei der Sachverhaltsfeststellung und bei der rechtlichen Würdigung geltend gemacht. In prozessualer Hinsicht wurde um Gewährung der aufschiebenden Wirkung ersucht.
B._ und C._, der Gemeinderat Schwyz und das Verwaltungsgericht des Kantons Schwyz schliessen auf Abweisung der Beschwerde. Das kantonale Amt für Raumentwicklung verzichtete auf eine Vernehmlassung, liess dabei aber erkennen, dass es keine Einwände gegen das Bauprojekt hat.
D.
Mit prozessleitender Verfügung vom 24. Mai 2016 wies der Präsident der I. öffentlich-rechtlichen Abteilung des Bundesgerichts das Gesuch um aufschiebende Wirkung ab.

Erwägungen:
1.
1.1. Das Bundesgericht beurteilt gestützt auf <ref-law> Beschwerden gegen Entscheide in Angelegenheiten des öffentlichen Rechts. Beim angefochtenen Entscheid handelt es sich um einen kantonal letztinstanzlichen Endentscheid (vgl. Art. 86 Abs. 1 lit. d und Art. 90 BGG) im Bereich des Raumplanungs- und Baurechts, das zum öffentlichen Recht zählt und vom Anwendungsbereich der Beschwerde in öffentlich-rechtlichen Angelegenheiten nicht ausgenommen ist (vgl. <ref-law> e contrario; <ref-ruling> E. 1.2 S. 251).
1.2. Der Beschwerdeführer war an den vorinstanzlichen Verfahren beteiligt und ist als Nachbar von der Streitsache direkt betroffen. Er ist damit gemäss <ref-law> zur Beschwerde legitimiert (vgl. Art. 137 II 30 E. 2.2.2 S. 33).
1.3. Nach <ref-law> legt das Bundesgericht seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde, es sei denn, dieser sei offensichtlich unrichtig, d.h. willkürlich, erhoben worden oder beruhe auf einem erheblichen Verstoss gegen Verfahrensrecht (vgl. Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
1.4. Mit der Beschwerde an das Bundesgericht kann, von hier nicht interessierenden weiteren Möglichkeiten abgesehen, nur die Verletzung von Bundesrecht und von kantonalem Verfassungsrecht gerügt werden (Art. 95 lit. a und c BGG). Dies prüft das Bundesgericht frei. Hingegen überprüft es die Anwendung des übrigen kantonalen Rechts lediglich auf Willkür (gemäss <ref-law>) hin.
1.5. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), prüft die bei ihm angefochtenen Entscheide aber grundsätzlich nur auf Rechtsverletzungen hin, die von den Beschwerdeführern geltend gemacht und begründet werden (vgl. <ref-law>). Erhöhte Anforderungen an die Begründung gelten, soweit die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und der willkürlichen Sachverhaltsfeststellung) gerügt wird (<ref-law>; <ref-ruling> E. 1.4.2 S. 254 mit Hinweisen). Die Beschwerdeschrift genügt diesen Anforderungen. Zwar behauptet der Beschwerdeführer an einer Stelle der Beschwerdeschrift (S. 8) beiläufig, die Vorinstanz habe ihre Begründungspflicht verletzt, ohne dies näher auszuführen, was für eine gültige Rüge nicht ausreichend wäre. Er bezeichnet dieses Argument aber selbst nicht als Rüge und führt es insbesondere nicht in der Aufzählung seiner Beschwerdegründe in Ziff. 2.1 der Beschwerdeschrift an.
2.
2.1. Der Beschwerdeführer rügt einen Verstoss gegen den Anspruch auf rechtliches Gehör, weil das Verwaltungsgericht keinen Augenschein durchgeführt habe. Die angeblich "massiven Aufschüttungen" und "mächtigen Dimensionen" liessen sich nur bei einem Augenschein beurteilen.
2.2. Die Parteien haben im verwaltungs- sowie im verwaltungsgerichtlichen Verfahren Anspruch auf rechtliches Gehör (<ref-law>). Dazu gehört, dass die Behörde alle erheblichen und rechtzeitigen Vorbringen der Parteien würdigt und die ihr angebotenen Beweise abnimmt, wenn diese zur Abklärung des Sachverhalts tauglich erscheinen. Umgekehrt folgt daraus, dass keine Verletzung des rechtlichen Gehörs vorliegt, wenn ein Gericht auf die Abnahme beantragter Beweismittel verzichtet, weil es auf Grund der bereits abgenommenen Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener (antizipierter) Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (<ref-ruling> E. 5.3 S. 236 f. mit Hinweisen). Der Entscheid über die Anordnung eines Augenscheins steht im pflichtgemässen Ermessen der Behörde. Eine dahingehende Pflicht besteht nur, wenn die tatsächlichen Verhältnisse auf andere Weise überhaupt nicht abgeklärt werden können (Urteil des Bundesgerichts 1C_76/2012 vom 6. Juli 2012 E. 2.3).
2.3. Das Verwaltungsgericht begründete den Verzicht auf einen Augenschein nur kurz. Es ist aber ersichtlich, dass es aufgrund der bereits vorhandenen Unterlagen davon ausging, ein Augenschein könne nichts Wesentliches mehr zur weiteren Erhellung der sachlichen Grundlagen des Rechtsstreites beitragen. In den Akten liegen verschiedene von den Verfahrensbeteiligten eingereichte Fotos. Daraus und aus den ebenfalls vorliegenden Plänen mit den darauf teilweise eingezeichneten Höhenkurven sind die örtlichen Gegebenheiten wie insbesondere der Terrainverlauf mit genügender Klarheit ersichtlich. Weitere Informationen bezog die Vorinstanz über öffentlich über Internet zugängliche Daten. Es ist im Übrigen unbestritten, dass das Terrain auf der Bauliegenschaft und mit unterschiedlicher Intensität auch auf den Nachbarliegenschaften vor etwas mehr als 30 Jahren aufgeschüttet wurde. Nicht strittig ist ebenfalls, dass das Terrain im Bereich der Südfassade des geplanten Einfamilienhauses abgestuft ist. Es ist nicht ersichtlich, dass sich mit einem Augenschein neue für die Entscheidfindung wesentliche Erkenntnisse gewinnen liessen. Weshalb der Umstand, dass die Beschwerde vom Regierungsrat an das Verwaltungsgericht überwiesen wurde, das Bedürfnis eines Augenscheins erhöhen sollte, wie der Beschwerdeführer auch noch geltend macht, ohne dies allerdings nachvollziehbar auszuführen, ist ebenfalls nicht zu erkennen.
2.4. Das Verwaltungsgericht verletzte demnach mit dem Verzicht auf einen Augenschein den Anspruch auf rechtliches Gehör des Beschwerdeführers nicht, und die vorinstanzlichen Sachverhaltsabklärungen sind auch nicht deswegen unvollständig.
3.
3.1. In der Sache rügt der Beschwerdeführer, das Verwaltungsgericht habe das einschlägige kantonale und kommunale Recht willkürlich ausgelegt und angewendet, indem es von einem unhaltbaren Verständnis des gesetzlichen Begriffs des gewachsenen Terrains ausgehe. Überdies habe das Verwaltungsgericht konkret das für die rechtlichen Bauparameter massgebliche Terrain willkürlich ermittelt. Im Ergebnis werde damit zugelassen, dass in der Zone W2D, in der grundsätzlich höchstens zwei Vollgeschosse bei einer maximalen Gebäudehöhe von 7 m erlaubt seien, einem Bauherrn, der sein Grundstück aufgeschüttet habe, der Bau eines Wohnhauses mit drei Vollgeschossen bei einer Gebäudehöhe von 8,6 m unter gleichzeitiger Verletzung der gesetzlichen Grenzabstände ermöglicht werde.
3.2. Gemäss der ständigen Rechtsprechung des Bundesgerichts ist ein Entscheid willkürlich, wenn er offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist; dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (<ref-ruling> E. 2.4 S. 5; <ref-ruling> E. 4.1 S. 133; je mit Hinweisen).
3.3. Nach § 60 des Planungs- und Baugesetzes des Kantons Schwyz vom 14. Mai 1987 (PBG) beträgt der Grenzabstand 50 % der Gebäudehöhe, mindestens aber 3 m (Abs. 1); als Gebäudehöhe gilt das Mass vom ausgemittelten gewachsenen Boden in der Fassadenmitte bis zum Schnittpunkt der Fassade mit der Dachhaut, bei Flachdächern bis zur Oberkante des Dachabschlusses (Abs. 2). Auf die weiteren Bestimmungen zum Grenzabstand ist hier nicht einzugehen. Nach Art. 22 Abs. 2 des Baureglements der Gemeinde Schwyz vom 26. September 2010 (BR) über die zulässige Geschosszahl von Bauten gelten als Vollgeschosse Geschosse, die bei mehr als der Hälfte der Gebäudeabwicklung das gewachsene Terrain um mehr als einen Meter überragen. Liegt das gestaltete Terrain tiefer als das gewachsene, ist auf das gestaltete abzustellen.
3.4. Der in § 60 Abs. 2 PBG und Art. 22 Abs. 2 BR enthaltene Begriff des gewachsenen Bodens bzw. Terrains wird in den beiden Erlassen nicht näher definiert. Es handelt sich mithin um einen auslegungsbedürftigen unbestimmten Rechtsbegriff.
3.4.1. Nach der früheren Praxis der Schwyzer Behörden galt eine Geländeveränderung im Wesentlichen dann als gewachsenes Terrain, wenn sie schon längere Zeit, d.h. zehn Jahre oder mehr, zurücklag und dem umgebenden, benachbarten Terrainverlauf angepasst war. Dies wurde damals mit der Schwierigkeit begründet, den ursprünglichen Bodenverlauf nach einer solch langen Zeit noch im Detail zu eruieren.
3.4.2. Seit rund zehn Jahren misst das Verwaltungsgericht in seiner Rechtsprechung dem Kriterium der Nichteruierbarkeit angesichts der technischen Entwicklung und der planerischen Aufgaben zunehmend weniger Bedeutung zu. Danach besteht für die Bestimmung des gewachsenen Terrains zwar kein Anlass, von einer Richtschnur von zehn Jahren oder länger abzuweichen oder eine fixe Zeitdauer festzulegen, nach deren Ablauf die Eruierbarkeit bedeutungslos wird; die Nachweismöglichkeit darf aber nicht dazu führen, dass das baurechtlich massgebliche gewachsene Terrain auf unabsehbare Zeit auf dem noch eruierbaren Verlauf fixiert bleibt. Weicht es in diesem Sinne für einen nicht absehbaren Zeithorizont vom tatsächlichen Bodenverlauf ab, widerspricht das der Realität der durch planerische und bauliche Massnahmen mitgestalteten Umwelt. Ein Abweichen vom jeweils aktuellen gestalteten als gewachsenem Terrain zum eruierbaren Geländeverlauf drängt sich nur dort auf, wo kumulativ diese Abweichung offensichtlich ist und das Abstellen auf das bestehende Terrain zu baupolizeilich unhaltbaren Ergebnissen führt. Das Verwaltungsgericht versteht den Begriff des gewachsenen Bodens bzw. Terrains mithin dynamisch und nicht statisch.
3.4.3. Im vorliegenden Fall bestätigte das schwyzerische Verwaltungsgericht seine dargelegte Rechtsprechung. Gestützt darauf kommt es im angefochtenen Entscheid zum Ergebnis, dass das vor mehr als 30 Jahren auf der hier fraglichen Bauliegenschaft KTN 3684 mit Mehrhöhen von 1,60 m an der Südfassade und von 0,70 m an der Ostfassade sowie in unterschiedlicher Intensität auch auf den Nachbarliegenschaften, offenbar auch auf derjenigen des Beschwerdeführers (KTN 3648), aufgeschüttete Land als gewachsenes Terrain zu beurteilen ist. Gemäss der Vorinstanz führt dies weder für den Beschwerdeführer noch für die übrige Nachbarschaft zu baupolizeilich unhaltbaren Ergebnissen. Nicht entscheidend ist gemäss dem Verwaltungsgericht, ob die Terrainaufschüttung auch nach langer Zeit, d.h. nach nunmehr rund 30 Jahren, noch erkennbar ist oder nicht.
3.4.4. Der Beschwerdeführer beruft sich auf die Interkantonale Vereinbarung über die Harmonisierung der Baubegriffe vom 22. September 2005 (IVHB). Die im Anhang zur IVHB aufgeführten Begriffsdefinitionen und Messweisen gelten aber nicht unmittelbar, sondern müssen zuerst ins kantonale und im Anschluss daran auch kommunale Recht überführt werden. Nach Art. 2 Abs. 3 IVHB in der ursprünglichen, beim Beitritt des Kantons Schwyz am 1. Januar 2013 noch gültigen Fassung hätten die Kantone, die nach 2010 dem Konkordat beitraten, ihre Gesetzgebung bis Ende 2015 anpassen und dabei die Fristen für die Umsetzung in der Nutzungsplanung bestimmen müssen. Die hier strittige Baubewilligung erging vor Ende 2015, weshalb die IVHB darauf auch nach der ursprünglichen Regelung noch nicht angewendet werden musste. Die entsprechende Bestimmung wurde überdies später geändert. Gemäss der heute massgeblichen Fassung vom 1. Mai 2015 passen die Kantone ihre Gesetzgebung innert drei Jahren nach Beitritt an und bestimmen die Fristen für deren Umsetzung in der Nutzungsplanung. Da der Kanton Schwyz der Vereinbarung per 1. Januar 2013 beigetreten ist, war diese Frist im hier massgeblichen Zeitpunkt der Erteilung der Baubewilligung noch nicht abgelaufen, sondern es verblieb dem Kanton noch Zeit zur Fristansetzung für die Umsetzung der Vereinbarung.
Der IVHB kommt keine positive Vorwirkung zu. Etwas anderes ergibt sich auch nicht aus dem vom Beschwerdeführer angerufenen bundesgerichtlichen Urteil 1C_531/2012 vom 7. Januar 2014 (vgl. insbes. die entsprechende E. 3.5). Das Bundesgericht bezeichnete die IVHB im damaligen Zusammenhang ausdrücklich als unverbindlich, schloss jedoch, ein Abweichen von den darin enthaltenen Begriffsbestimmungen könne unüblich sein. Soweit der Beschwerdeführer ausführt, die IVHB könne als Auslegungshilfe für das geltende Recht dienen, trifft dies mithin durchaus zu. Im damaligen Urteil widersprach indessen die angefochtene Auslegung bereits dem Wortlaut und den im kantonalen Recht enthaltenen zeichnerischen Darstellungen. Demgegenüber ist hier nicht eine dem einschlägigen Recht klar widersprechende Auslegung strittig, sondern die fragliche Rechtsprechung des Verwaltungsgerichts erscheint durchaus nachvollziehbar und entbehrt nicht einer gewissen Logik. Die kantonalen Behörden unter Einschluss des Verwaltungsgerichts sind demnach vorläufig nicht verpflichtet, die hier fraglichen Bestimmungen in Übereinstimmung mit der IVHB auszulegen.
3.4.5. Dem Beschwerdeführer wäre beizupflichten, dass es stossend wäre, wenn die Bauherrschaft das Grundstück relativ kurze Zeit vor Baubeginn aufgeschüttet hätte, um damit zu einer besseren Nutzung zu gelangen. In diesem Falle könnte es willkürlich sein, die Aufschüttung bei der Ermittlung des Geländeverlaufs zu berücksichtigen. Darum handelt es sich hier jedoch nicht. Die Aufschüttungen sind vor mehr als 30 Jahren vorgenommen worden, als vom heutigen Bauprojekt noch keine Rede war, und betrafen nicht nur ein, sondern mehrere nebeneinander liegende Grundstücke. Unter diesen Umständen ist nicht ersichtlich, dass die von der Vorinstanz verfolgte Interpretation des einschlägigen kantonalen und kommunalen Rechts dem Sinn der entsprechenden Bestimmungen völlig widerspräche. Die Auslegung führt auch nicht zu einem baupolizeilich unhaltbaren Ergebnis, selbst wenn sie mit baulichen Mehrhöhen von 1,6 m an der Südfassade und von 0.70 m an der Ostfassade verbunden ist. Darin liegt im vorliegenden Zusamenhang keine erhebliche Beeinträchtigung der Nachbarschaft. Im Übrigen lässt es die Rechtsprechung durchaus zu, stossende Situationen, wie sie der Beschwerdeführer beschreibt, wie sie hier aber nicht gegeben sind, angemessen zu berücksichtigen. Auch wenn unterschiedliche Auslegungen derselben Bestimmungen, wie nicht zuletzt die Entwicklung der schwyzerischen Rechtsprechung zeigt, nicht ausgeschlossen erscheinen, so ist der angefochtene Entscheid insofern nicht willkürlich.
3.5. Schliesslich behauptet der Beschwerdeführer, der ermittelte massgebliche Terrainverlauf im Bereich der Südfassade sei willkürlich. Er sieht darin sowohl eine willkürliche Rechtsanwendung als auch eine willkürliche Feststellung der tatsächlichen Umstände.
3.5.1. Für die bundesgerichtlichen Voraussetzungen von Willkür bei der Rechtsanwendung kann auf das vorne Dargelegte verwiesen werden (vgl. E. 3.2). Eine offensichtlich unrichtige bzw. willkürliche Sachverhaltsfeststellung liegt vor, wenn diese widersprüchlich oder aktenwidrig ist oder auf einem offensichtlichen Versehen beruht bzw. klarerweise den tatsächlichen Verhältnissen widerspricht (vgl. etwa das Urteil des Bundesgerichts 1C_485/2013 vom 3. Dezember 2013 E. 4.2).
3.5.2. Die Vorinstanz zog die beiden Gebäudeeckpunkte von 592,60 m.ü.M. und 593.80 m.ü.M. zur Ermittlung des massgeblichen Terrainverlaufs bei und errechnete ein arithmetisches Mittel in der Fassadenmitte von 593.20 m.ü.M. Der Beschwerdeführer ist der Ansicht, es brauche für ein korrektes Ergebnis mehr Messpunkte. Er vermag aber nicht nachvollziehbar darzutun, dass sich dadurch ein für ihn wesentlich günstigeres Resultat ergeben würde. Gemäss den Berechnungen sowohl der Bauherrschaft als auch des Gemeinderats träfe dies jedenfalls nicht zu. Selbst wenn sich mit einer anderen Messmethode ein massgeblich anderes Resultat erzielen liesse, ist aber nicht ersichtlich, weshalb die von der Vorinstanz gewählte Methode geradezu unhaltbar sein sollte. Der Geländeverlauf erscheint nicht derart kompliziert, dass sich das Mittel der beiden Gebäudeeckpunkte als von vornherein ungeeignet zur Ermittlung des massgeblichen Terrains erwiese. Es liegt insofern mithin weder Aktenwidrigkeit noch ein offensichtliches Versehen noch ein klarer Widerspruch zu den tatsächlichen Verhältnissen noch eine unhaltbare Gesetzesauslegung vor.
3.6. Der angefochtene Entscheid ist demnach nicht willkürlich. Weitere Rügen erhebt der Beschwerdeführer vor Bundesgericht nicht mehr.
4.
Die Beschwerde erweist sich als unbegründet und ist abzuweisen.
Bei diesem Verfahrensausgang wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG). Überdies hat er die obsiegenden Beschwerdegegner als Solidargläubiger für das bundesgerichtliche Verfahren angemessen zu entschädigen (<ref-law>). Praxisgemäss ist der obsiegenden Gemeinde keine Parteientschädigung zuzusprechen (vgl. <ref-ruling> E. 7 S. 118 f.).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegner als Solidargläubiger für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Gemeinderat Schwyz, dem Amt für Raumentwicklung des Kantons Schwyz und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, schriftlich mitgeteilt.
Lausanne, 6. September 2016
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Uebersax