Sachverhalt:
A. Am 22. September 2009 eröffnete die Ausgleichskasse des Kantons Zug dem seit Ende .. in der Schweiz wohnhaften deutschen Staatsangehörigen X._ gestützt auf eine Meldung der kantonalen Steuerverwaltung Zug vom 8. September 2009 eine Nachtragsverfügung über Beiträge für Selbständigerwerbende betreffend das Jahr 2004. Darin setzte die Kasse die Beiträge auf Fr. 177'915.40 (unter Anrechnung bereits bezahlter Betreffnisse, einschliesslich Verwaltungskosten) fest. Auf Einsprache hin hielt die Verwaltung an ihrer Auffassung fest, die Einkünfte von X._ des Jahres 2004, die er als Kommanditist der deutschen und österreichischen Firmen A._, B._, C._ und D._ erzielt habe, seien AHV-rechtlich als selbständige Erwerbstätigkeit zu qualifizieren (Entscheid vom 18. August 2010).
B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 25. November 2010 ab.
C. X._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, der Einspracheentscheid der Ausgleichskasse Zug vom 18. August 2010 sei aus formellen Gründen als nichtig zu betrachten, da er sich an die "Y._ & Co." statt an ihn selber richte. Eventuell seien die folgenden Ergebnisse aus ausländischen Gesellschaften der Rechtsform GmbH & Co. KG bei der Berechnung des schweizerischen Einkommens aus selbständiger Tätigkeit auszunehmen:
"Weltweites Einkommen aus selbständiger Erwerbstätigkeit gemäss
Steuererklärung 2004 und Nachtragsverfügung AHV 2004 CHF 2'038'057
- davon Ergebnis A._, Deutschland CHF -549'547
- davon Ergebnis B._, Deutschland CHF -1'974'006
- davon Ergebnis C._, Österreich (Verlust) CHF +82'407
- davon Ergebnis D._, Österreich (Verlust)
CHF +2'608
Restbetrag = Verlustanteil Y._ & Co., CHF -400'481"

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. auch <ref-law>).
2. In formeller Hinsicht macht der Beschwerdeführer geltend, der Einspracheentscheid vom 18. August 2010 richte sich nicht an ihn, sondern an die Kommanditgesellschaft Y._ & Co., bei welcher er lediglich Gesellschafter sei. Dies führe zur Nichtigkeit des Entscheides.
Nach der Rechtsprechung sind offensichtlich fehlerhafte Parteibezeichnungen von Amtes wegen zu korrigieren, sofern es sich um die formelle Berichtigung einer Parteibezeichnung in einem Verfahren handelt, in welchem die Identität der Partei von Anfang an eindeutig feststand, deren Benennung aber falsch war (vgl. <ref-ruling> E. 4b S. 344 mit Hinweis). Wie die Vorinstanz zutreffend darlegt, ergibt sich aus den Akten, dass sämtliche Beitragsverfügungen, einschliesslich die strittige Nachtragsverfügung vom 22. September 2009, an "X._ [c/o] Y._ & Co." gerichtet waren; einzig im Einspracheentscheid vom 18. August 2010 war nur die Y._ & Co. als Partei aufgeführt. Die Vorinstanz hat die fehlerhafte Parteibezeichnung zu Recht von Amtes wegen korrigiert und den Einspracheentscheid als rechtsgültig betrachtet, zumal aus diesem hinreichend deutlich hervorgeht, dass die Beitragspflicht von X._ als natürlicher Person den Entscheidungsgegenstand bildet. Diesem ist daraus kein Rechtsnachteil entstanden.
3. 3.1 Im Streit liegt, ob die in betraglicher Hinsicht nicht bestrittenen Einkünfte des Beschwerdeführers, welche er im Jahr 2004 als Kommanditist der deutschen und österreichischen Personengesellschaften A._, B._, C._ und D._ erzielte, als selbständige Erwerbstätigkeit im Sinne von <ref-law> und <ref-law> (SR 831.101) zu qualifizieren sind. Der Beschwerdeführer macht letztinstanzlich weiterhin geltend, als blosser Kapitalgeber habe er bei den fraglichen ausländischen Gesellschaften keinen massgeblichen Einfluss auf die Geschäftsführung ausgeübt.
3.2 Die Beitragspflicht aufgrund der Beteiligung des in der Schweiz wohnhaften Beschwerdeführers an deutschen und österreichischen Kommanditgesellschaften richtet sich allein nach schweizerischem Recht (Art. 13 Abs. 2 lit. b, Art. 14a Abs. 2 und Art. 14c der Verordnung [EWG] Nr. 1408/71 des Rates vom 14. Juni 1971 zur Anwendung der Systeme der sozialen Sicherheit auf Arbeitnehmer und Selbstständige sowie deren Familienangehörige, die innerhalb der Gemeinschaft zu- und abwandern [SR 0.831.109.268.1] in Verbindung mit <ref-law> und mit dem am 1. Juni 2002 in Kraft getretenen Abkommen vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit [Freizügigkeitsabkommen, FZA; SR 0.142.112.681]; zur Situation vor Inkrafttreten des FZA vgl. <ref-ruling> E. 2.1 S. 260).
3.2 Die Beitragspflicht aufgrund der Beteiligung des in der Schweiz wohnhaften Beschwerdeführers an deutschen und österreichischen Kommanditgesellschaften richtet sich allein nach schweizerischem Recht (Art. 13 Abs. 2 lit. b, Art. 14a Abs. 2 und Art. 14c der Verordnung [EWG] Nr. 1408/71 des Rates vom 14. Juni 1971 zur Anwendung der Systeme der sozialen Sicherheit auf Arbeitnehmer und Selbstständige sowie deren Familienangehörige, die innerhalb der Gemeinschaft zu- und abwandern [SR 0.831.109.268.1] in Verbindung mit <ref-law> und mit dem am 1. Juni 2002 in Kraft getretenen Abkommen vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit [Freizügigkeitsabkommen, FZA; SR 0.142.112.681]; zur Situation vor Inkrafttreten des FZA vgl. <ref-ruling> E. 2.1 S. 260).
3.3 3.3.1 Gemäss <ref-law> werden die Beiträge der erwerbstätigen Versicherten in Prozenten des Einkommens aus unselbständiger und selbständiger Erwerbstätigkeit festgesetzt. Einkommen aus selbständiger Erwerbstätigkeit ist jedes Erwerbseinkommen, das nicht Entgelt für in unselbständiger Stellung geleistete Arbeit darstellt (<ref-law>). Den Begriff des Einkommens aus selbständiger Erwerbstätigkeit konkretisiert <ref-law> (in der hier anwendbaren Fassung gemäss Änderung vom 1. März 2000, in Kraft seit 1. Januar 2001, in Verbindung mit Abs. 1 SchlBest. der Änderung) wie folgt:
"Als Einkommen aus selbstständiger Erwerbstätigkeit im Sinne von Artikel 9 Absatz 1 AHVG gelten alle in selbstständiger Stellung erzielten Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf, sowie aus jeder anderen selbstständigen Erwerbstätigkeit, einschliesslich der Kapital- und Überführungsgewinne nach Artikel 18 Absatz 2 DBG [SR 642.11] und der Gewinne aus der Veräusserung von land- und forstwirtschaftlichen Grundstücken nach Artikel 18 Absatz 4 DBG, mit Ausnahme der Einkünfte aus zu Geschäftsvermögen erklärten Beteiligungen nach Artikel 18 Absatz 2 DBG."
3.3.2 Nicht unter den Begriff der selbständigen Erwerbstätigkeit im Sinne von <ref-law> und <ref-law> fällt die blosse Verwaltung des eigenen Vermögens; der daraus resultierende reine Kapitalertrag unterliegt daher nicht der Beitragspflicht. Gleiches gilt in Bezug auf Gewinne aus privatem Vermögen, welche in Ausnützung einer zufällig sich bietenden Gelegenheit erzielt worden sind. Anderseits stellen Kapitalgewinne aus der Veräusserung oder Verwertung von Gegenständen des Privatvermögens, wie Wertschriften oder Liegenschaften, auch bei nicht buchführungspflichtigen (Einzel-)Betrieben, Einkommen aus selbständiger Erwerbstätigkeit dar, wenn und soweit sie auf gewerbsmässigem Handel beruhen (<ref-ruling> E. 3.1 S. 253; <ref-ruling> E. 2a S. 385 mit Hinweisen; Urteil 9C_551/2008 vom 16. Januar 2009 E. 2.1).
3.3.3 <ref-law> in der ab 1. Januar 1996 in Kraft stehenden Fassung lautet:
"Die Teilhaber von Kollektiv- und Kommanditgesellschaften sowie von anderen auf einen Erwerbszweck gerichteten Personengesamtheiten ohne juristische Persönlichkeit haben die Beiträge von ihrem Anteil am Einkommen der Personengesamtheit zu entrichten."
Nach der geltenden Regelung und der gestützt darauf ergangenen Rechtsprechung sind sämtliche Teilhaber von Kollektiv- und Kommanditgesellschaften für ihre Anteile am Einkommen der Personengesamtheit der Beitragspflicht aus selbständiger Erwerbstätigkeit unterstellt (<ref-ruling> E. 2.2.3 S. 261 mit Hinweisen).
4. 4.1 Die Vorinstanz erwog, dass der im Jahr 2004 in der Schweiz wohnhaft gewesene Beschwerdeführer für seine Einkünfte als Kommanditist aus deutschen und österreichischen GmbH & Co. KG in der Schweiz als Selbständigerwerbender beitragspflichtig ist. Was der Beschwerdeführer hiergegen einwendet, hält der Prüfung nicht stand.
4.2 In <ref-ruling> wies das Bundesgericht auf die bisherige konstante Rechtsprechung hin, wonach <ref-law> gesetzmässig ist (vgl. die Hinweise in: a.a.O. E. 4.1 S. 264). Die Entstehungsgeschichte dieser Norm zeigt, dass seit 1976 eine generelle und konstante Beitragspflicht der Kommanditäre bestanden hat. Grundgedanke dieser Beitragspflicht ist, dass der Kommanditär - anders als ein blosser Kapitalgeber - direkt, ähnlich dem Komplementär, am Gesellschaftsgewinn teilnimmt (a.a.O. E. 4.3 S. 264 und E. 4.4 S. 266). Aus gesetzessystematischer Sicht ergibt sich nichts Gegenteiliges (a.a.O. E. 4.5 S. 266; vgl. auch E. 4.7). Die Beitragspflicht der Kommanditäre ist auch mit dem Sinn und Zweck von <ref-law> zu begründen. Entsprechend seiner wirtschaftlichen Stellung in der Gesellschaft nimmt der Kommanditär als solcher direkt am wirtschaftlichen Erfolg der Gesellschaft teil. Wer sich als Teilhaber einer Kommanditgesellschaft anschliesst, nimmt nicht in erster Linie eine private Vermögensanlage vor (a.a.O. E. 4.6 S. 266; vgl. oben E. 3.3.2).
4.3 Entscheidend für die Anwendbarkeit von <ref-law> ist einzig, ob es sich um eine auf einen Erwerbszweck gerichtete Personengesamtheit ohne juristische Persönlichkeit handelt. Dies trifft für die ausländische GmbH & Co. KG zu. Für die vom Beschwerdeführer verlangte Einzelfallprüfung betreffend seine Stellung und Funktion in den betreffenden Gesellschaften besteht demnach kein Anlass. Das Bundesgericht hat in der mehrfach zitierten <ref-ruling> festgehalten, dass es nicht darauf ankommt, wie im Einzelfall die Einflussmöglichkeiten in der Gesellschaft sind und ob sie international tätig ist. An gleicher Stelle erwog das Bundesgericht, dass auch nicht geprüft werden muss, ob die im deutschen Recht vorgesehene Gesellschaftsform der GmbH & Co. KG eine mit der schweizerischen Kommanditgesellschaft vergleichbare Gesellschaftsform darstellt, da <ref-law> nicht nur Teilhaber von Kollektiv- und Kommanditgesellschaften, sondern auch Teilhaber "von anderen auf einen Erwerbszweck gerichteten Personengesamtheiten ohne juristische Persönlichkeit" aufführt (a.a.O., E. 5 S. 267).
5. Nach dem Gesagten hat die Ausgleichskasse die Einkünfte des Beschwerdeführers im Jahr 2004 als Kommanditist der A._, B._, C._ sowie der D._ zu Recht als Einkommen aus selbständiger Erwerbstätigkeit qualifiziert.
6. Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 6000.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. August 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Traub