Sachverhalt:
A.
A._ (nachfolgend der Steuerpflichtige) ist Alleinerbe seiner am 20. März 2012 verstorbenen, in U._ wohnhaft gewesenen Tante. Im Nachlass befanden sich Aktiven in Höhe von Fr. 16'492'171.--, darunter zwei Liegenschaften in den Kantonen Genf und Tessin.
B.
Mit Verfügung vom 2. Dezember 2015 setzte das kantonale Steueramt St. Gallen die steuerbare Zuwendung auf Fr. 7'629'041.-- fest. Dabei korrigierte es den Wert der ausserkantonalen Liegenschaften auf das kantonale Bewertungsniveau. Die dagegen erhobenen Rechtsmittel wiesen das kantonale Steueramt am 23. März 2016 und die Verwaltungsrekurskommission des Kantons St. Gallen am 12. Dezember 2016 ab. Das Verwaltungsgericht des Kantons St. Gallen hiess die Beschwerde des Steuerpflichtigen am 27. September 2018 teilweise gut und setzte die steuerbare Zuwendung auf Fr. 7'454'529.-- fest. Es erwog, die Angleichung an das St. Galler Bewertungsniveau sei zu Unrecht erfolgt, und wies die Sache zur Steuerausscheidung zurück.
C.
C.a. Mit Beschwerde vom 22. Oktober 2018 beantragt der Steuerpflichtige dem Bundesgericht, die steuerbare Zuwendung sei auf Fr. 6'610'088.-- festzusetzen (Verfahren 2C_942/2018). Das kantonale Steueramt schliesst auf Abweisung der Beschwerde.
C.b. Mit Beschwerde vom 1. November 2018 beantragt das kantonale Steueramt dem Bundesgericht, der angefochtene Entscheid sei aufzuheben und der Entscheid der Verwaltungsrekurskommission sei zu bestätigen (Verfahren 2C_981/2018). Der Steuerpflichtige schliesst auf Abweisung der Beschwerde. Das Verwaltungsgericht beantragt die Vereinigung der Verfahren und verzichtet auf weitere Anträge, räumt aber ein, dass sein Entscheid einen Fehler enthalte.
Erwägungen:
1.
1.1. Der angefochtene Entscheid betrifft eine Steuerforderung und unterliegt der Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 BGG). Die Beschwerde ist zulässig gegen Entscheide, die das Verfahren abschliessen (Art. 90 BGG). Der Entscheid des Verwaltungsgerichts schliesst das Verfahren nicht ab; die Vorinstanz hat die Sache an das kantonale Steueramt zu neuer Steuerausscheidung zurückgewiesen. Nach bundesgerichtlicher Rechtsprechung werden Rückweisungsentscheide indessen wie Endentscheide behandelt, falls der unteren Instanz, an welche die Sache zurückgewiesen wird, kein Entscheidungsspielraum mehr verbleibt und die Rückweisung nur noch der rechnerischen Umsetzung des oberinstanzlich Angeordneten dient (BGE 140 V 321 E. 3.2 S. 325; 134 II 124 E. 1.3 S. 127). Diese Voraussetzung ist vorliegend erfüllt, nachdem das Verwaltungsgericht die steuerbare Zuwendung verbindlich festgelegt hat.
1.2. Da sich in beiden Beschwerden dieselben Parteien gegenüberstehen und derselbe Entscheid angefochten wird, rechtfertigt es sich, die Verfahren zu vereinigen.
2.
2.1. Der Steuerpflichtige ist ohne weiteres zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG). Auf seine frist- und formgerecht (Art. 42 und Art. 100 Abs. 1 BGG) eingereichte Beschwerde im Verfahren 2C_942/2018 ist einzutreten.
2.2. Das kantonale Steueramt St. Gallen leitet seine Beschwerdelegitimation ohne weitere Begründung aus Art. 89 Abs. 2 lit. d BGG ab. Danach sind Personen, Organisationen und Behörden zur Beschwerde berechtigt, denen ein Bundesgesetz dieses Recht einräumt. Es ist indessen nicht ersichtlich, welches Bundesgesetz die kantonale Steuerverwaltung im Bereich der Erbschaftssteuer zur Beschwerde an das Bundesgericht ermächtigt. Erbschaftssteuern werden vom Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14) nicht erfasst, sodass die Beschwerde nach Art. 73 StHG nicht gegeben ist. Demnach scheidet Art. 89 Abs. 2 lit. d BGG zur Begründung der Legitimation aus (BGE 136 II 383 E. 2.2 S. 385).
2.3. Zu prüfen bleibt, ob sich das kantonale Steueramt auf das allgemeine Beschwerderecht nach Art. 89 Abs. 1 BGG berufen kann.
2.3.1. Gemäss bundesgerichtlicher Rechtsprechung kann das Gemeinwesen in bestimmten Fällen auch in hoheitlichen Interessen derart berührt sein, dass von einem schutzwürdigen Interesse im Sinne von Art. 89 Abs. 1 BGG auszugehen ist. Die Beschwerdebefugnis zur Durchsetzung hoheitlicher Anliegen setzt eine erhebliche Betroffenheit in wichtigen öffentlichen Interessen voraus; gestützt auf die allgemeine Legitimationsklausel von Art. 89 Abs. 1 BGG dürfen Gemeinwesen nur restriktiv zur Beschwerdeführung zugelassen werden. Weder das allgemeine Interesse an der richtigen Rechtsanwendung noch ein mit der Erfüllung einer öffentlichen Aufgabe direkt oder indirekt verbundenes finanzielles Interesse des Gemeinwesens genügt zur Begründung des allgemeinen Beschwerderechts (BGE 136 II 383 E. 2.4 S. 386 f. mit zahlreichen Hinweisen).
2.3.2. Es ist nicht ersichtlich und wird vom kantonalen Steueramt auch nicht dargetan, inwieweit der Kanton St. Gallen durch den angefochtenen Entscheid erheblich betroffen ist. Weder kann der Streitwert des vorliegenden Verfahrens als ausserordentlich hoch bezeichnet werden noch ist angesichts der speziellen Konstellation des Falles zu erwarten, dass dem angefochtenen Urteil eine präjudizielle Wirkung für eine Vielzahl ähnlich gelagerter Fälle zukommt. Vor dem Hintergrund, dass die allgemeine Beschwerdelegitimation des Gemeinwesens im Steuerrecht nur sehr restriktiv bejaht wird, weil das blosse Interesse an der Optimierung des Steuerertrags kein hinreichendes Schutzinteresse darstellt (BGE 136 II 274 E. 4.2 S. 278 ff.), ist die Legitimation des kantonalen Steueramts nach Art. 89 Abs. 1 BGG zu verneinen. Damit kann offengelassen werden, inwieweit das kantonale Steueramt überhaupt befugt wäre, den Kanton St. Gallen vor Bundesgericht zu vertreten, nachdem dies grundsätzlich Aufgabe der Regierung ist (BGE 136 II 383 E. 2.1 S. 385).
2.4. Zusammenfassend ist das kantonale Steueramt nicht berechtigt, den Entscheid des Verwaltungsgerichts anzufechten; auf die Beschwerde im Verfahren 2C_981/2018 ist deshalb nicht einzutreten.
3.
3.1. Der Steuerpflichtige bringt vor, dass ihm das Verwaltungsgericht bei der rechnerischen Methodik in Bezug auf die Repartitionswerte Recht gegeben habe. Die Vorinstanz habe aber das bewegliche Vermögen irrtümlich von Fr. 9'162'226.-- auf Fr. 10'118'306.-- erhöht. Das kantonale Steueramt bestätigt den Irrtum der Vorinstanz. Auch das Verwaltungsgericht räumt in seiner Stellungnahme ein, dass es einen Fehler begangen habe. Es habe sich auf den von der Verwaltungsrekurskommission festgestellten Sachverhalt und die Verfahrensakten abgestützt und sei erst nach Eröffnung seines Urteils auf den Rechnungsfehler hingewiesen worden, so dass es diesen nicht selber habe korrigieren könne.
3.2. Das Verwaltungsgericht ist davon ausgegangen, dass die beiden ausserkantonalen Liegenschaften bei den Nachlassaktiven in Höhe von Fr. 16'492'171.-- mit ihren Steuerwerten erfasst worden seien (vgl. E. 2.2 des angefochtenen Entscheids). Entgegen dieser Auffassung sind im Betrag von Fr. 16'492'171.-- die Repartitionswerte bereits berücksichtigt worden, was sich aus der unbestritten gebliebenen Berechnung des Nettonachlasses I durch das kantonale Steueramt ergibt (vgl. die Tabelle in E. 2c, S. 5, des Entscheids der Verwaltungsrekurskommission vom 12. Dezember 2016). Somit beträgt das bewegliche Vermögen Fr. 9'162'226.--. Es ist nicht ersichtlich, inwieweit die Parteien diesen Fehler des Verwaltungsgerichts bereits vor Eröffnung des vorinstanzlichen Entscheids hätten bemerken und rügen können. Die offensichtlich unrichtige Feststellung des Sachverhalts durch die Vorinstanz kann deshalb ohne weiteres vor Bundesgericht geltend gemacht werden (Art. 97 Abs. 1 BGG). Weil sich der vorinstanzliche Fehler auch auf die Ausscheidungsquoten und damit auf die gesamte Berechnung auswirkt, rechtfertigt es sich, die Sache zur Neuberechnung an das Verwaltungsgericht zurückzuweisen. Die Beschwerde des Steuerpflichtigen ist demnach gutzuheissen.
4.
Da der Kanton St. Gallen in seiner Vermögenssituation betroffen ist, sind ihm die Gerichtskosten aufzuerlegen (Art. 66 Abs. 4 BGG). Er hat den Steuerpflichtigen für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Verfahren 2C_942/2018 und 2C_981/2018 werden vereinigt.
2.
Die Beschwerde im Verfahren 2C_942/2018 wird gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons St. Gallen vom 27. September 2018 wird aufgehoben und die Sache wird zum Neuentscheid an die Vorinstanz zurückgewiesen.
3.
Auf die Beschwerde im Verfahren 2C_981/2018 wird nicht eingetreten.
4.
Die Gerichtskosten von Fr. 4'000.-- werden dem Kanton St. Gallen auferlegt.
5.
Der Kanton St. Gallen hat den Steuerpflichtigen für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
6.
Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons St. Gallen, Abteilung III, schriftlich mitgeteilt.
Lausanne, 20. März 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Businger