Sachverhalt:
A.
W._, wohnhaft in der Schweiz, ist Kommanditist der X._ GmbH & Co. KG, Deutschland, und zugleich angestellter Geschäftsführer sowohl der Tochtergesellschaft Y._ GmbH, Deutschland, als auch von deren Zweigniederlassung Z._ in der Schweiz. Das kantonale Steueramt machte der Ausgleichskasse am 7. Dezember 2010 und am 28. März 2011 für die Jahre 2004 bis 2008 Meldung über im Ausland erzieltes Einkommen aus selbstständiger Tätigkeit. Mit Verfügungen vom 4. Oktober 2011 setzte die Ausgleichskasse des Kantons St. Gallen die Beiträge des W._ für das Jahr 2006 auf Fr. 179'205.60, für das Jahr 2007 auf Fr. 208'113.60 und für das Jahr 2008 auf Fr. 207'574.20 fest, was sie mit Einspracheentscheid vom 6. März 2012 bestätigte. Am 6. Oktober 2011 verfügte sie des Weitern Verzugszinsen in der Gesamthöhe von Fr. 110'619.85 (Fr. 42'710.65 für Beiträge 2006; Fr. 39'194.75 für Beiträge 2007 und Fr. 28'714.45 für Beiträge 2008). Diesbezüglich stellte W._ lediglich ein Erlassgesuch, worüber die Ausgleichskasse erst nach rechtskräftigem Entscheid über die Beitragspflicht zu entscheiden gedachte.
B.
Die Beschwerde gegen den Einspracheentscheid vom 6. März 2012 wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 14. November 2012 ab mit der Begründung, die dem Beschwerdeführer aus der X._ GmbH & Co. KG zufliessenden Beteiligungserträge stellten Einkünfte aus selbstständiger Erwerbstätigkeit dar.
C.
W._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, der Entscheid vom 14. November 2012 sowie die Beitrags- und Verzugszinsverfügungen vom 4. und 6. Oktober 2011 seien aufzuheben.

Erwägungen:
1.
1.1. Nicht umstritten ist der schweizerische Wohnsitz des Beschwerdeführers und dessen unselbstständige Erwerbstätigkeit als Geschäftsführer in der Schweiz. Streitig ist, ob seine Einkünfte, die er in den Jahren 2006 bis und mit 2008 als Gesellschafter (d.h. Kommanditist) der X._ GmbH und Co. KG erhalten hat und die betragsmässig nicht angefochten werden, als Einkommen aus selbstständiger Erwerbstätigkeit im Sinne von <ref-law> (SR.831.10) und <ref-law> (SR 831.101) einer Beitragspflicht unterliegen. Sodann bestreitet der Beschwerdeführer die Verzugszinsforderungen.
1.2. Das kantonale Gericht erwog, für die hier umstrittenen Beitragsjahre 2006 bis 2008 seien Art. 14c lit. a und Art. 14d Abs. 1 der Verordnung (EWG) Nr. 1408/71 des Rates vom 14. Juni 1971 zur Anwendung der Systeme der sozialen Sicherheit auf Arbeitnehmer und Selbstständige sowie deren Familienangehörige, die innerhalb der Gemeinschaft zu- und abwandern (AS 2004 121; nachfolgend: VO Nr. 1408/71), massgeblich. Daher unterliege der Beschwerdeführer, der als Geschäftsführer der Zweigniederlassung Z._ in der Schweiz eine unselbstständige Tätigkeit ausübe, dem schweizerischen Recht, womit auch <ref-law> anwendbar sei. Danach sei der Tatbestand einer beitragspflichtigen selbstständigen Erwerbstätigkeit erfüllt, weil es sich bei der deutschen GmbH & Co. KG um eine auf einen Erwerbszweck gerichtete Personengesamtheit ohne juristische Persönlichkeit handle. In Bezug auf die Verzugszinsen hat das kantonale Gericht festgehalten, diese seien "in masslicher Hinsicht" nicht angefochten.
2.
2.1. Es liegt ein länderübergreifender Sachverhalt vor, der auf der Grundlage von Art. 8 und 15 des Abkommens vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedern andererseits über die Freizügigkeit (FZA; SR 0.142.112.681) in Verbindung mit Art. 3 Abschnitt A Ziff. 3 und 4 des Anhangs II zum FZA grundsätzlich nach den Bestimmungen der VO Nr. 1408/71 sowie der Verordnung (EWG) Nr. 574/72 des Rates vom 21. März 1972 über die Durchführung der VO Nr. 1408/71 (AS 2005 3909; nachfolgend: VO Nr. 574/72) zu beurteilen ist. Entgegen der Auffassung des Beschwerdeführers ist die für die Schweiz erst ab 1. April 2012 geltende Verordnung (EG) Nr. 883/2004 des Europäischen Parlaments und des Rates vom 29. April 2004 zur Koordinierung der Systeme der sozialen Sicherheit (SR 0.831.109.268.1; vgl. Art. 3 Abschnitt A Ziff. 1 des Anhangs II zum FZA) unter intertemporalrechtlichem Aspekt nicht anwendbar (vgl. <ref-ruling> E. 1.2.1 S. 447), geht es doch in concreto um Beiträge für die Jahre 2006 bis 2008.
Die Art. 13 bis 17a VO Nr. 1408/71 entscheiden als Kollisionsnormen über die anzuwendenden Rechtsvorschriften, während die Art. 10b bis 14 VO Nr. 574/72 lediglich Vorschriften zur Durchführung der Kollisionsnormen enthalten. Als Grundregel bestimmt Art. 13 Ziff. 1 VO Nr. 1408/71, dass Personen, für die diese Verordnung gilt, den Rechtsvorschriften nur eines Mitgliedstaates unterliegen.
2.2. Eine Person, die im Gebiet verschiedener Mitgliedstaaten gleichzeitig eine abhängige Beschäftigung und eine selbstständige Tätigkeit ausübt, unterliegt - abgesehen von hier nicht interessierenden Ausnahmen - den Rechtsvorschriften des Mitgliedstaats, in dessen Gebiet sie eine abhängige Beschäftigung ausübt, oder, falls sie eine solche Beschäftigung im Gebiet von zwei oder mehr Mitgliedstaaten ausübt, den nach Artikel 14 Nummer 2 oder Nummer 3 bestimmten Rechtsvorschriften (Art. 14c lit. a VO Nr. 1408/71).
Eine Person, die gewöhnlich im Gebiet von zwei oder mehr Mitgliedstaaten abhängig beschäftigt - und wie hier nicht Mitglied des fahrenden oder fliegenden Personals eines Unternehmens - ist, unterliegt den Rechtsvorschriften des Mitgliedstaats, in dessen Gebiet sie wohnt, wenn sie ihre Tätigkeit zum Teil im Gebiet dieses Staates ausübt oder wenn sie für mehrere Unternehmen oder mehrere Arbeitgeber tätig ist, die ihren Sitz oder Wohnsitz im Gebiet verschiedener Mitgliedstaaten haben (Art. 14 Abs. 2 lit. b Punkt i VO Nr. 1408/71).
Eine Person, für die namentlich Artikel 14 Absätze 2 und 3 oder Artikel 14c Buchstabe a) gilt, wird für die Anwendung der nach diesen Bestimmungen bestimmten Rechtsvorschriften so behandelt, als ob sie ihre gesamte Erwerbstätigkeit oder ihre gesamten Erwerbstätigkeiten im Gebiet des betreffenden Mitgliedstaats ausübte (Art. 14d Abs. 1 VO Nr. 1408/71).
2.3.
2.3.1. Für die Anwendung der Art. 14a ("Sonderregelung für andere Personen als Seeleute, die eine selbstständige Tätigkeit ausüben") und 14c ("Sonderregelung für Personen, die im Gebiet verschiedener Mitgliedstaaten gleichzeitig eine abhängige Beschäftigung und eine selbstständige Tätigkeit ausüben") der VO Nr. 1408/71 sind unter "Tätigkeit im Lohn- oder Gehaltsverhältnis" bzw. "selbstständiger Tätigkeit" diejenigen Tätigkeiten zu verstehen, die im Rahmen der Rechtsvorschriften über die soziale Sicherheit des Mitgliedstaates, in dessen Gebiet die Tätigkeit ausgeübt wird, als solche angesehen werden. Es bestehen mithin keine vertragsautonomen Definitionen im Sinne einer eigenständigen gemeinschaftsrechtlichen Bedeutung, sondern es sind die Begriffsbestimmungen im jeweiligen Landesrecht massgeblich (<ref-ruling> E. 5.2 S. 541 f. mit Hinweisen auf Urteile des EuGH und Literatur).
Etwas anderes sieht auch die Wegleitung des Bundesamtes für Sozialversicherungen über die Versicherungspflicht in der AHV/IV (WVP) nicht vor. Nach Rz. 2013 und 2014 WVP (in den seit 1. Januar 2010 geltenden Fassungen) hängt die Versicherungsunterstellung von Personen, die in mehreren Staaten arbeiten, davon ab, ob sie unselbstständig oder selbstständig erwerbstätig sind. Das Beitragsstatut (Arbeitnehmende oder Selbstständigerwerbende) wird aufgrund des nationalen Rechts desjenigen Staates bestimmt, in welchem die jeweilige Erwerbstätigkeit ausgeübt wird. Bei einer in Frankreich und in der Schweiz erwerbstätigen Person beispielsweise ist für die in Frankreich ausgeübte Tätigkeit gemäss dem französischen Recht und für die in der Schweiz ausgeübte Tätigkeit nach dem AHVG zu bestimmen, ob es sich um eine selbstständige oder eine unselbstständige Erwerbstätigkeit handelt. Diese Regeln beziehen sich indessen lediglich auf die Frage nach dem anwendbaren Recht; sie besagen noch nichts über die konkrete beitragsrechtliche Qualifikation eines bestimmten Einkommensteils, wenn die Unterstellung unter die schweizerischen Rechtsvorschriften feststeht (vgl. Rz. 2013 WVP).
2.3.2. Demzufolge ist dem Beschwerdeführer insoweit beizupflichten, als im konkreten Fall grundsätzlich zunächst nach deutschem Recht zu entscheiden ist, ob die Stellung als Kommanditist bei einer deutschen GmbH und Co. KG als (selbst- oder unselbstständige) Erwerbstätigkeit zu qualifizieren ist. Erst dadurch lässt sich die zutreffende Kollisionsnorm und folglich das anwendbare Recht ermitteln.
2.4.
2.4.1. Ist nach deutschem Recht davon auszugehen, dass der Beschwerdeführer als Kommanditist bei einer deutschen GmbH und Co. KG einer selbstständigen Erwerbstätigkeit nachgeht, ist er aufgrund der Bestimmungen von Art. 14c lit. a VO Nr. 1408/71 der schweizerischen Rechtsordnung unterstellt. Das gilt auch unter Berücksichtigung der Tätigkeit als Geschäftsführer der Y._ GmbH in Deutschland, und zwar unbesehen, ob es sich dabei - ebenfalls nach deutschem Recht - um eine selbstständige oder abhängige Beschäftigung handelt.
2.4.2. Ist hingegen nach deutschem Recht in der Stellung als Kommanditist eine unselbstständige Erwerbstätigkeit zu erblicken, beruht die Unterstellung unter schweizerisches Recht auf Art. 14 Abs. 2 lit. b Punkt i VO Nr. 1408/71. Wird in dieser Konstellation die Tätigkeit als Geschäftsführer der Y._ GmbH in Deutschland als selbstständig qualifiziert, kommt weiterhin Art. 14c lit. a VO Nr. 1408/71 zur Anwendung, was am Ergebnis der Unterstellung nichts ändert.
2.4.3. Liegt indessen, wie der Beschwerdeführer geltend macht, nach deutschem Recht als Kommanditist überhaupt keine Erwerbstätigkeit vor, so ist dieser Umstand kollisionsrechtlich von vornherein nicht von Belang: Die "Nicht-Erwerbstätigkeit" ist kein Tatbestandselement der Art. 13 bis 17a VO Nr. 1408/71. In dieser Situation ist Art. 14 Abs. 2 lit. b Punkt i resp. Art. 14c lit. a VO Nr. 1408/71 ausschliesslich mit Blick auf die Tätigkeit als Geschäftsführer der Y._ GmbH in Deutschland anwendbar (vgl. E. 2.4.2). Sieht man von dieser Betätigung ab, verbleibt eine Erwerbstätigkeit in nur einem Staat, mithin in der Schweiz. Damit sind die Kollisionsnormen der VO Nr. 1408/71 nicht einschlägig, und der Beschwerdeführer untersteht auch in diesem Fall der schweizerischen Rechtsordnung.
2.4.4. Nach dem Gesagten steht fest, dass die sozialversicherungsrechtliche Unterstellung und folglich auch die Beitragspflicht ausschliesslich nach schweizerischem Recht zu beurteilen ist. Das Gemeinschaftsrecht ersetzt oder modifiziert nicht das materielle einzelstaatliche Recht; es verweist lediglich auf die Rechtsordnung, der eine Person unterworfen ist, und sagt namentlich nichts aus über die Beitragspflicht, die sich erst aus der anwendbaren Rechtsordnung ergibt ( MAXIMILIAN FUCHS, Europäisches Sozialrecht - eine Einführung, in: Fuchs [Hrsg.], Europäisches Sozialrecht, 4. Aufl. 2005, S. 12; CADOTSCH/CARDINAUX, Les effets de l'accord sur l'assujettissement et l'obligation de cotiser à l'AVS, in: Das Personenverkehrsabkommen mit der EU und seine Auswirkungen auf die soziale Sicherheit der Schweiz, 2001, S. 133; vgl. auch Art. 14d Abs. 1 VO Nr. 1408/71 und Rz. 2013 WVP).
2.5.
2.5.1. Unter dem Titel "Beiträge vom Einkommen aus selbstständiger Erwerbstätigkeit" bestimmt <ref-law>, dass die Teilhaber von Kollektiv- und Kommanditgesellschaften sowie von anderen auf einen Erwerbszweck gerichteten Personengesamtheiten ohne juristische Persönlichkeit die Beiträge von ihrem Anteil am Einkommen der Personengesamtheit zu entrichten haben.
2.5.2. Das Bundesgericht hat sich in <ref-ruling> einlässlich mit der Frage nach der Gesetzmässigkeit von <ref-law> auseinandergesetzt und sie erneut bejaht. Entscheidend für die Anwendbarkeit von <ref-law> ist damit einzig, ob es sich um eine auf einen Erwerbszweck gerichtete Personengesamtheit ohne juristische Persönlichkeit handelt. Dies trifft auf die deutsche GmbH und Co. KG zu. Es kommt daher nicht darauf an, wie im Einzelfall die Einflussmöglichkeiten in der Gesellschaft sind, und ob die Beteiligung nach deutschem Recht als (selbst- resp. unselbstständige) Erwerbstätigkeit oder als blosse (private) Vermögensverwaltung qualifiziert wird (<ref-ruling> E. 4.8 und 5 S. 267).
2.6. Demnach unterliegen die Einkünfte des Beschwerdeführers als Kommanditist der X._ GmbH und Co. KG in - hier angezeigter (E. 2.4.4) - Anwendung von <ref-law> in Verbindung mit <ref-law> als Einkommen aus selbstständiger Erwerbstätigkeit der Beitragspflicht.
3.
3.1. Der Beschwerdeführer bestreitet erstmals im letztinstanzlichen Verfahren die Verzugszinspflicht, und zwar auch für den Fall, dass die Beitragsforderungen bestätigt werden. Er macht im Wesentlichen eine fehlende Gesetzmässigkeit, insbesondere des Zinssatzes, geltend, was als rechtliche Argumentation nicht von vornherein unzulässig ist (vgl. <ref-law>).
3.2. Zunächst ist indessen fraglich, ob die Vorinstanz, auch wenn sie die Verzugszinsverfügungen in ihre Erwägungen einbezogen hat, dispositivmässig überhaupt über die entsprechenden Forderungen entschieden hat und diesbezüglich für das bundesgerichtliche Verfahren ein Anfechtungsobjekt vorliegt (<ref-law>; vgl. <ref-ruling> E. 1 S. 414 f.). Gegenstand des vorinstanzlichen Verfahrens bildete der Einspracheentscheid vom 6. März 2012. Dass gegen die Verzugszinsverfügungen Einsprache erhoben wurde, ist nicht ersichtlich und wird auch nicht geltend gemacht; damit unterlagen sie grundsätzlich auch nicht der Beschwerde an das kantonale Gericht (vgl. <ref-law> [SR 830.1]). Die Frage kann letztlich offengelassen werden: Auch wenn von einer (impliziten) Ausweitung des Anfechtungsgegenstandes durch die Vorinstanz (<ref-ruling> E. 1.2 S. 503; <ref-ruling> E. 2a S. 36 mit Hinweisen; Urteil 9C_488/2012 vom 25. Januar 2013 E. 3.1) auszugehen ist, ergibt sich nichts zu Gunsten des Beschwerdeführers (E. 3.3).
3.3.
3.3.1. Für fällige Beitragsforderungen und Beitragsrückerstattungsansprüche sind Verzugs- und Vergütungszinsen zu leisten (<ref-law>). Gemäss <ref-law> haben Beitragspflichtige auf für vergangene Kalenderjahre nachgeforderten Beiträgen ab dem 1. Januar nach Ablauf des Kalenderjahres, für welches die Beiträge geschuldet sind, Verzugszinsen zu entrichten. Der Satz für die Verzugs- und der Vergütungszinsen beträgt 5 Prozent im Jahr (<ref-law>).
3.3.2.
3.3.2.1. <ref-law> ist gesetzeskonform und die Verzugszinspflicht findet in <ref-law> (in Verbindung mit <ref-law>) eine genügende gesetzliche Grundlage, auch wenn in dessen deutscher und französischer Version von "fälligen" Beitragsforderungen gesprochen wird. Die Auslegung dieser Bestimmung ergibt keine Anhaltspunkte, die gegen die weitere Anwendbarkeit der Verzugszinsordnung des Art. 41 bis AHVV und des damit im Zusammenhang stehenden Art. 42 Abs. 2 und 3 AHVV sprechen (<ref-ruling> E. 3.2 S. 205).
3.3.2.2. Dem Verzugszins kommt die Funktion eines Vorteilsausgleichs wegen verspäteter Zahlung der Hauptschuld zu. Die Verzugszinsen bezwecken, unbekümmert um den tatsächlichen Nutzen und Schaden, den Zinsverlust des Gläubigers und den Zinsgewinn des Schuldners in pauschalierter Form auszugleichen. Hingegen weist der Verzugszins nicht pönalen Charakter auf und ist unabhängig von einem Verschulden am Verzug geschuldet. Für die Verzugszinspflicht im Beitragsbereich ist daher nicht massgebend, ob den Beitragspflichtigen, die Ausgleichskasse oder eine andere Amtsstelle ein Verschulden an der Verzögerung der Beitragsfestsetzung oder -zahlung trifft (<ref-ruling> E. 3.3.1, 3.3.2 und 3.5 S. 206 f.).
Nebst dem pauschalen Ausgleich von Zinsgewinn und -verlust - der überdies für Verzugs- und Vergütungszinsen gleich hoch ausfällt - bezweckt der Verzugszins zusätzlich eine Abgeltung des administrativen Aufwands für die verspätete resp. nachträgliche Beitragserhebung und für die Erhebung des Verzugszinses selbst. Auch wenn sich gewisse Abweichungen zu den jeweils geltenden Zinssätzen auf dem Geld- und Kapitalmarkt ergeben, sind diese systemimmanent und bedürfen nur dann einer Korrektur, wenn Abweichungen über längere Zeit hinweg und in beträchtlichem Ausmass bestehen. Der AHV-rechtliche Verzugszins ist ferner nicht mit einem Marktzins zu vergleichen. Vielmehr handelt es sich um einen "technischen" Zinssatz. Er wurde vom Bundesrat im Rahmen der gesetzlich an ihn delegierten Kompetenz in Zusammenarbeit mit der Eidgenössischen AHV-Kommission (vgl. <ref-law>) und den Fachkommissionen so festgesetzt, dass er in dem für die Sozialversicherung eigenen Inkasso- und Bezugsverfahren von den mit der Durchführung der AHV beauftragten Ausgleichskassen ohne allzu grossen administrativen Aufwand effizient angewendet werden kann (ZAK 1990 284, H 170/89 E. 4b/ee und ff.).
3.3.3. Ein Grund, von der in E. 3.3.2 dargelegten Rechtsprechung grundsätzlich abzuweichen (vgl. <ref-ruling> E. 3 S. 8; <ref-ruling> E. 3 S. 82; <ref-ruling> E. 3.3 S. 76), ist nicht ersichtlich und wird auch nicht geltend gemacht. Daher lässt sich aus einem "seit Jahren herrschenden Zinsniveau von 1-2 %" allein noch nicht auf fehlende Gesetzmässigkeit schliessen. Dagegen spricht auch der Umstand, dass mit <ref-law> formellgesetzlich ein Verzugszinssatz von 5 % festgelegt ist, welche Bestimmung im Verwaltungsrecht bei fehlender Anordnung als allgemeiner Rechtsgrundsatz analog Anwendung findet (Häfelin/Müller/Uhlmann, Allgemeines Verwaltungsrecht, 6. Aufl. 2010, S. 41 Rz. 191 und S. 175 Rz. 756 ff.; vgl. auch SVR 2001 BVG Nr. 16 S. 63, B 43/98 E. 4b; Ueli Kieser, ATSG-Kommentar, 2. Aufl. 2009, N. 38 zu <ref-law> mit Hinweisen).
3.3.4. Nach dem Gesagten beruht <ref-law> auf einer genügenden gesetzlichen Grundlage und ist auch der darin festgelegte Zinssatz nicht gesetzeswidrig oder gar willkürlich (vgl. <ref-ruling> E. 4.1 S. 133; <ref-ruling> E. 3.1 S. 153 mit Hinweisen). Die Beschwerde ist auch in diesem Punkt unbegründet.
4.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 11'000.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 27. Mai 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Dormann