Sachverhalt:
A.
A.a. A.A._ (Beschwerdeführer) sowie B.A._, C.A._, D.A._ und E.A._ (Beschwerdegegner) sind die Nachkommen von F.A._ (geb. 1917; Erblasserin). Mit letztwilliger Verfügung vom 5. Mai 2006 setzte F.A._ sämtliche Nachkommen ausser A.A._ auf den Pflichtteil und wendete diesem die maximal verfügbare freie Quote zu. F.A._ verstarb am 17. August 2007.
A.b. Am 14. März 2008 erhob A.A._ beim Bezirksgericht Höfe Erbteilungsklage und beantragte zusammengefasst, es sei der Nachlass festzustellen und zu teilen. Mit Teilurteil vom 14. Februar 2011 wies das Bezirksgericht unter anderem den Antrag von B.A._, C.A._ und D.A._ ab, es sei die letztwillige Verfügung vom 5. Mai 2006 für ungültig zu erklären. Das dagegen erhobene Rechtsmittel blieb erfolglos. Am 26. September 2016 legte das Bezirksgericht schliesslich fest, welche Beträge die einzelnen Nachkommen einander im Zuge der Erbteilung zu bezahlen verpflichtet sind.
B.
Gegen das Urteil vom 26. September 2016 reichten sowohl A.A._ als auch B.A._, C.A._ und D.A._ Berufung beim Kantonsgericht Schwyz ein. Dieses hiess mit Urteil vom 30. November 2018 (eröffnet am 10. Dezember 2018) die Berufung von A.A._ teilweise gut, soweit es darauf eintrat, und wies jene von B.A._, C.A._ und D.A._ ab. In Aufhebung des Urteils des Bezirksgerichts stellte es den zu teilenden Nachlass mit Fr. 3'089'639.58 (Dispositivziffer 1) sowie den Umfang der Erbberechtigung der einzelnen Nachkommen fest (Dispositivziffer 2). Weiter wies es die Aktiven und Passiven der Erbschaft den einzelnen Nachkommen zu (Dispositivziffer 3) und bestimmte die von den Nachkommen einander zu bezahlenden Beträge (Dispositivziffern 4 und 5). Dabei hielt es soweit hier interessierend fest, dass ein Erbvorbezug von A.A._ über Fr. 166'600.-- diesem vollumfänglich zugewiesen bzw. an seinen Erbteil angerechnet wird (Dispositivziffer 3f). Ausserdem verpflichtete das Kantonsgericht B.A._, C.A._ und D.A._ dazu, an A.A._ je Fr. 360'326.88 zu bezahlen (Dispositivziffer 4).
C.
A.A._ gelangt mit Beschwerde in Zivilsachen vom 25. Januar 2019 an das Bundesgericht. In der Sache beantragt er die Aufhebung und Ersetzung der Ziffern 1, 3f und 4 des Urteils des Kantonsgerichts. Dabei ersucht er darum, den zu teilenden Nachlass unter Einbezug von Erbvorbezügen von B.A._, C.A._ und D.A._ von je Fr. 166'600.-- mit insgesamt Fr. 3'589'439.58 zuzüglich 4 % Darlehenszins auf Fr. 2'100'000.-- vom 27. September 2016 bis zur Teilung festzustellen. Die vorgenannten Erbvorbezüge seien je der begünstigten Person zuzuweisen bzw. an deren Erbteil anzurechnen. Weiter seien die von B.A._, C.A._ und D.A._ an ihn zu bezahlenden Beträge auf je Fr. 426'966.88 zuzüglich 2/5 Darlehenszins von 4 % auf Fr. 700'000.-- vom 27. September 2016 bis zur Teilung festzusetzen (Rechtsbegehren Ziffer 1). Eventuell sei von der Anrechnung sämtlicher Erbvorbezüge abzusehen und das Urteil des Kantonsgerichts entsprechend anzupassen. Dabei sei der zu teilende Nachlass mit Fr. 2'923'039.58 zuzüglich dem vorgenannten Darlehenszins festzustellen und es seien B.A._, C.A._ und D.A._ zu verpflichten, an A.A._ je Fr. 393'646.88 zuzüglich des vorgenannten Darlehenszinses zu bezahlen (Rechtsbegehren Ziffer 2). Subeventuell sei die Sache in Aufhebung des Urteils des Kantonsgerichts zur Neuberechnung des Nachlasses und der Erbansprüche der Parteien an dieses zurückzuweisen (Rechtsbegehren Ziffer 3).
Am 15. November 2019 verzichtet das Kantonsgericht auf eine Vernehmlassung und mit Beschwerdeantwort vom 9. Dezember 2019 beantragen B.A._, C.A._ und D.A._ die Abweisung der Beschwerde. E.A._ hat sich nicht vernehmen lassen. Replik ist beim Bundesgericht keine eingegangen. Im Übrigen hat das Bundesgericht die Akten des kantonalen Verfahrens eingeholt.

Erwägungen:
1.
1.1. Angefochten ist der Endentscheid (<ref-law>) eines oberen kantonalen Gerichts, das als Rechtsmittelinstanz (<ref-law>) über eine Erbteilung (<ref-law>) und damit eine vermögensrechtliche Zivilsache entschieden hat (<ref-law>; vgl. Urteil 5A_396/2015 vom 22. Juni 2017 E. 1.1, nicht publiziert in: <ref-ruling>). Der Streitwert von Fr. 30'000.-- ist erreicht (Art. 74 Abs. 1 Bst. b BGG). Die Beschwerde in Zivilsachen ist damit das zutreffende Rechtsmittel. Der Beschwerdeführer ist nach <ref-law> zur Beschwerde legitimiert, die er auch fristgerecht erhoben hat (Art. 100 Abs. 1 und Art. 46 Abs. 1 Bst. c BGG). Auf die Beschwerde ist unter Vorbehalt der nachfolgenden Ausführungen einzutreten.
1.2.
1.2.1. Die Beschwerde an das Bundesgericht ist ein reformatorisches Rechtsmittel (<ref-law>). Die beschwerdeführende Partei muss deshalb grundsätzlich einen Antrag in der Sache stellen, das heisst angeben, welche Punkte des kantonalen Entscheids sie anficht und inwiefern das Bundesgericht den angefochtenen Entscheid abändern soll. Rechtsbegehren, die eine Geldsumme zum Gegenstand haben, sind dabei zu beziffern (<ref-ruling> E. 1.2; <ref-ruling> E. 2). Für die Auslegung der Rechtsbegehren ist allerdings die Begründung der Beschwerde heranzuziehen (<ref-ruling> E. 6.2; <ref-ruling> E. 1.3). Auf nicht bezifferte Anträge tritt das Bundesgericht deshalb ausnahmsweise ein, wenn sich aus der Beschwerdebegründung, allenfalls in Verbindung mit dem angefochtenen Entscheid, ohne Weiteres ergibt, was in der Sache verlangt wird (BGE <ref-ruling> E. 2; Urteil 5A_841/2017 vom 18. Dezember 2018 E. 2.1, nicht publiziert in: <ref-ruling>).
1.2.2. Diese Grundsätze gelten auch bei Beschwerden betreffend Erbteilungen. Zwar mag die Praxis hinsichtlich der Formulierung der Rechtsbegehren bei Erbteilungsklagen im kantonalen Verfahren grosszügig sein (vgl. Urteile 5A_512/2019 vom 28. Oktober 2019 E. 5.2.4.1; 5A_377/2016 vom 9. Januar 2017 E. 4.2.3; 5A_621/2012 vom 20. März 2013 E. 4.1). Im Verfahren vor Bundesgericht muss ein Rechtsbegehren jedoch auch in diesen Fällen den allgemeinen Anforderungen genügen (so bereits zum Bundesgesetz vom 16. Dezember 1943 über die Organisation der Bundesrechtspflege [Bundesrechtspflegegesetz, OG; BS 3 531]: BGE 75 II 256 E. 1; Urteile 5C.229/2005 vom 5. November 2009; 5C.205/2000 vom 21. Juni 2001 E. 1b/bb, nicht publiziert in: <ref-ruling>; 5C.167/2004 vom 9. September 2004; 5C.167/1994 vom 28. November 1994).
1.2.3. Der Beschwerdeführer beantragt vor Bundesgericht, die Beschwerdegegner 1-3 seien unter anderem zu verurteilen, ihm " 2/5 Darlehenszins von 4 % auf Fr. 700'000.-- vom 27. September 2016 bis zur Teilung" zu bezahlen (vorne Bst. C). Mit diesem Begehren gibt er nicht an, welchen Geldbetrag er vom Bundesgericht zugesprochen erhalten möchte. Auch aus der Begründung der Beschwerde ergibt sich nicht, bis zum welchem Datum der Beschwerdeführer die Zahlung der Zinsen verlangt. Eine Bestimmung des fraglichen Geldbetrags ist folglich ebenfalls nicht möglich. Die Beschwerde genügt damit insoweit den Anforderungen von <ref-law> nicht und es ist auf sie in diesem Umfang nicht einzutreten.
1.3. Unzutreffend ist die Auffassung der Beschwerdegegner 1-3, der Beschwerdegegner 4 sei am vorliegenden Beschwerdeverfahren nicht beteiligt. Letzterer ist als Miterbe vielmehr zu Recht in das vorliegende Verfahren einbezogen worden, in welchem ihm Parteistellung zukommt (<ref-ruling> E. 2.1.2; Urteile 5A_809/2011 vom 15. März 2012 E. 2.2; 5A_372/2011 vom 4. Oktober 2011 E. 2.1.2).
2.
2.1. Mit der Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 f. BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>) und prüft mit freier Kognition, ob der angefochtene Entscheid Recht verletzt. Es befasst sich aber nur mit ausreichend begründeten Einwänden (vgl. <ref-law>). In der Beschwerdebegründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid rechtswidrig sein soll. Die Begründung muss sachbezogen sein und sich auf den Streitgegenstand beziehen und beschränken; die beschwerdeführende Partei hat in gezielter Auseinandersetzung mit den für das Ergebnis des angefochtenen Entscheids massgeblichen Erwägungen plausibel aufzuzeigen, welche Rechte bzw. Rechtsnormen die Vorinstanz verletzt haben soll (<ref-ruling> E. 2, 115 E. 2).
2.2. Was den Sachverhalt angeht, legt das Bundesgericht seinem Urteil die vorinstanzlichen Feststellungen zugrunde (<ref-law>). Dazu gehören die Feststellungen über den Lebenssachverhalt, auf dem der Streitgegenstand beruht, und jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1). Zum Sachverhalt kann die rechtsuchende Partei nur vorbringen, die vorinstanzlichen Feststellungen seien offensichtlich unrichtig, das heisst willkürlich (<ref-law>), oder würden auf einer anderen Bundesrechtsverletzung im Sinn von <ref-law> (z.B. Verletzung von <ref-law>) beruhen. In der Beschwerde ist überdies darzutun, inwiefern die Behebung der gerügten Mängel für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG; zum Ganzen <ref-ruling> E. 2.3). Für die Begründung gilt das strenge Rügeprinzip nach <ref-law>. Notwendig ist, dass in der Beschwerde klar und detailliert anhand der Erwägungen des angefochtenen Entscheids dargelegt wird, inwieweit die angerufenen Rechte verletzt wurden. Auf ungenügend substanziierte Rügen und rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 2.4; <ref-ruling> E. 1.3).
3.
3.1. Strittig und in der Sache zu klären ist die Berücksichtigung der Erbvorbezüge der Parteien.
Nach den Feststellungen des Kantonsgerichts haben der Beschwerdeführer und die Beschwerdegegner 1-3 Vorbezüge von je Fr. 166'600.-- empfangen und hat der Beschwerdegegner 4 einen solchen von Fr. 100'000.-- erhalten. Die Beschwerdegegner 1-3 hätten, so die Vorinstanz weiter, im Berufungsverfahren beantragt, das erstinstanzliche Urteil sei soweit ihre Verurteilung zu Zahlungen an den Beschwerdeführer betreffend aufzuheben. Im Antrag auf gänzliche Befreiung von diesen Zahlungen sei auch jener auf deren Reduktion zufolge Streichung der Erbvorbezüge aus der Teilungsmasse enthalten gewesen, der deshalb zu behandeln sei. In der Folge kam das Kantonsgericht zum Schluss, die Vorbezüge der Beschwerdegegner 1-3 seien nicht ausgleichungspflichtig und daher auch nicht in die Teilungsmasse einzubeziehen. Der Beschwerdeführer habe demgegenüber die Berücksichtigung seines Erbvorbezugs in der Teilungsmasse nicht beanstandet bzw. diesen als ausgleichungspflichtige Zuwendung eingestuft. Die Beschwerdegegner 1-3 könnten sodann keine Anträge für den Beschwerdeführer stellen, weshalb ihre Ausführungen insoweit unbeachtlich seien. Damit habe dessen Vorbezug in der Teilungsmasse zu verbleiben. Die Beschwerdegegner 1-3 stimmen diesen Überlegungen im Wesentlichen zu.
3.2. Der Beschwerdeführer rügt eine Verletzung von <ref-law>. Es seien sämtliche Erbvorbezüge ausser jenem des Beschwerdegegners 4 - hier lägen die Umstände anders - gleich zu behandeln. Die Lösung der Vorinstanz entspreche auch nicht dem Willen der Erblasserin, welche den Beschwerdeführer habe begünstigen wollen. Das angefochtene Urteil erweise sich sodann als widersprüchlich, weil bei der Feststellung des Nachlasses per Todestag sämtliche Erbvorbezüge berücksichtigt, diese beim Teilungsvermögen aber nur selektiv angerechnet worden seien. Richtigerweise hätten alle Erbvorbezüge berücksichtigt werden müssen. Würden die Erbvorbezüge aber nicht berücksichtigt, müsse dies für alle Parteien gelten. Betreffend die im kantonalen Verfahren gestellten Anträge gelte für den Beschwerdeführer Ähnliches wie für die Beschwerdegegner 1-3: Der Beschwerdeführer habe im Berufungsverfahren beantragt, alle Erbvorbezüge zu berücksichtigen. Darin habe im Ergebnis auch der Antrag auf Streichung aller Erbvorbezüge gelegen. Ausserdem habe sein Antrag im Berufungsverfahren unter Berücksichtigung bestimmter Darlehenszinsen insgesamt zumindest Fr. 1'218'584.-- umfasst, wobei ihm weniger zugesprochen worden sei. Das Kantonsgericht hätte daher auch seinen Erbvorbezug in der Teilungsmasse nicht berücksichtigen dürfen.
3.3. Wie dargelegt hat der Beschwerdeführer die Frage, ob sein Erbvorbezug der Ausgleichungspflicht unterliegt, nach Dafürhalten des Kantonsgerichts nicht zum Prozessthema gemacht. Entsprechend ist es hierauf nicht materiell eingegangen. Soweit der Beschwerdeführer daher eine unrichtige Anwendung von <ref-law>, Widersprüche bei der Erbteilung und eine rechtsungleiche Behandlung geltend macht, geht die Beschwerde an der Sache vorbei (vgl. <ref-ruling> E. 1.2). Zu klären ist allerdings, ob die Vorinstanz gehalten gewesen wäre, eine materielle Prüfung der Ausgleichungspflicht vorzunehmen. Dazu ergibt sich, was folgt:
3.3.1. Vorab ist darauf hinzuweisen, dass weder das ZGB noch die ZPO zivilprozessuale Sonderbestimmungen für die Geltendmachung von Ausgleichungsansprüchen beinhalten, wie sie hier in Frage stehen (SUTTER-SOMM/LÖTSCHER, Der Erbteilungsprozess unter der Schweizerischen ZPO und seine Stolpersteine für die Praxis, in: successio 2013, S. 354 ff., 358). Hieran ändert nichts, dass sich die Frage nach der Ausgleichungspflicht im Rahmen einer Erbteilung stellt (vgl. dazu <ref-ruling> E. 1a).
3.3.2. Nach <ref-law> wendet das Gericht das Recht von Amtes wegen an. Die Rechtsanwendung besteht in der Feststellung des anzuwendenden Rechts und in der Anwendung dieses objektiven Rechts auf den konkreten Sachverhalt (Urteil 5A_629/2015 vom 27. März 2017 E. 9.3.1). Dies gilt auch im Berufungsverfahren. Das Berufungsgericht behandelt grundsätzlich aber nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 4.1.4; Urteil 4A_258/2015 vom 21. Oktober 2015 E. 2.4.3).
Demgegenüber ist es Sache der Parteien, dem Gericht die Tatsachen, auf die sie ihre Begehren stützen, darzulegen und die Beweise anzugeben (<ref-law>). Welche Tatsachen zu behaupten sind, hängt vom Tatbestand der Norm ab, auf den der geltend gemachte Anspruch abgestützt wird (<ref-ruling> E. 5.2.1.1; <ref-ruling> E. 2b; Urteil 5A_629/2015 vom 27. März 2017 E. 9.3.1). Ein Berufungsverfahren zeichnet sich sodann dadurch aus, dass bereits eine gerichtliche Beurteilung der Sache vorliegt. Mit Blick auf die Begründungspflicht nach <ref-law> muss in diesem Verfahren daher aufgezeigt werden, inwieweit der angefochtene Entscheid fehlerhaft ist. Entsprechend ist anhand der erstinstanzlich festgestellten Tatsachen oder der daraus gezogenen rechtlichen Schlüsse aufzuzeigen, inwiefern sich die Überlegungen des erstinstanzlichen Gerichts nicht aufrechterhalten lassen (<ref-ruling> E. 4.3.1; Urteil 4A_397/2016 vom 30. November 2016 E. 3.1). Die Berufungsantwort hat den gleichen Begründungsanforderungen zu genügen wie die Berufung (Urteil 4A_496/2016 vom 8. Dezember 2016 E. 2.2.2).
3.3.3. Unbestritten hatte die Erstinstanz die Erbvorbezüge sämtlicher Erben der Ausgleichungspflicht unterstellt. Damit oblag es dem Beschwerdeführer, dieses Vorgehen im Berufungsverfahren mit Blick auf seinen Erbvorbezug als rechtswidrig zu rügen und anhand des angefochtenen Entscheids und den dort getroffenen tatsächlichen Feststellungen die geltend gemachte Rechtsverletzung zu begründen. Hierzu hatte er spätestens Anlass, nachdem die Beschwerdegegner 1-3 sich in eben diesem Sinne bezüglich ihrer eigenen Erbvorbezüge geäussert hatten. Entsprechendes hat der Beschwerdeführer im Berufungsverfahren nach den Angaben der Vorinstanz nicht vorgebracht. Vielmehr habe er sich darauf beschränkt, die von den Beschwerdegegnern 1-3 gestellten Anträge als ungenügend zu kritisieren. Diese Feststellung zum Prozesssachverhalt stellt der Beschwerdeführer vor Bundesgericht nicht in hinreichend präziser Form in Frage. Auch überzeugen seine Ausführungen zum Inhalt seiner vorinstanzlichen Vorbringen nicht: Es ist nicht ersichtlich, weshalb im Antrag auf Berücksichtigung aller Erbvorbezüge in der Teilungsmasse auch ein solcher auf Nichtberücksichtigung derselben liegen sollte. Ein solcher Antrag kann auch nicht allein aus dem Umstand konstruiert werden, dass der Beschwerdeführer einen höheren Betrag beantragt hatte, als ihm das Kantonsgericht zugesprochen hat. Damit bleibt es bei der von der Vorinstanz getroffenen Feststellung. Folglich verletzt das Kantonsgericht kein Bundesrecht, wenn es mangels hinreichenden Antrags inhaltlich nicht geprüft hat, ob der Erbvorbezug des Beschwerdeführers der Ausgleichungspflicht unterliegt oder nicht.
3.4. Damit erweist sich die Beschwerde mit Blick auf die Berücksichtigung der Erbvorbezüge als unbegründet.
4.
Nach dem Ausgeführten ist die Beschwerde unbegründet und abzuweisen, soweit darauf einzutreten ist. Entsprechend diesem Ausgang des Verfahrens sind dessen Kosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Der Beschwerdeführer hat den Beschwerdegegnern 1-3 ausserdem die Parteikosten zu ersetzen. Dem Beschwerdegegner 4 sind keine entschädigungspflichtigen Kosten angefallen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2.
Die Gerichtskosten von Fr. 10'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegner 1-3 für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, 1. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 12. Februar 2020
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Sieber