Sachverhalt:
A. Die Ausgleichskasse des Kantons Zug verpflichtete den 1945 geborenen M._ mit Nachtragsverfügung vom 17. Juni 2008 zur Bezahlung von AHV/IV/EO-Beiträgen für Nichterwerbstätige über Fr. 10'352.60 (Verwaltungskosten eingeschlossen) für das Jahr 2003 (abzüglich bereits geleistete provisorische Beiträge von Fr. 728.-). Grundlage dieser Forderung ist unter anderem die im Jahr 2003 erfolgte, sich auf die Jahre 1993 bis 2003 beziehende rückwirkende Auszahlung von Rentenbetreffnissen der beruflichen Vorsorge über Fr. 468'373.-. Auf Einsprache des M._ hin bestätigte die Ausgleichskasse des Kantons Zug die Beitragsverfügung mit Entscheid vom 6. Mai 2009.
B. Das Verwaltungsgericht des Kantons Zug wies die gegen den Einspracheentscheid erhobene Beschwerde ab (Entscheid vom 25. Februar 2010).
C. M._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt sinngemäss, seine Beitragspflicht für das Jahr 2003 beschränke sich auf einen auf dem Erwerbseinkommen zu bezahlenden Mindestbeitrag; Beiträge für Nichterwerbstätige seien nicht zu erheben.

Erwägungen:
1. Das kantonale Gericht hat die gesetzlichen Bestimmungen und Grundsätze über die Festsetzung der Sozialversicherungsbeiträge Nichterwerbstätiger (<ref-law>; Art. 28, 28bis und 29 AHVV) zutreffend dargelegt. Darauf kann verwiesen werden.
2. Der Beschwerdeführer rügt unter anderem, die strittige Beitragsveranlagung verletze das Diskriminierungsverbot (<ref-law> und Art. 14 EMRK). Art. 14 EMRK ist akzessorischer Natur, das heisst kann nur in Verbindung mit der Umsetzung von in der EMRK garantierten Rechten und Freiheiten angerufen werden. Hinsichtlich der Verletzung von Grundrechten gilt eine qualifizierte Rügepflicht (<ref-law>; vgl. <ref-ruling> E. 1.4.2 S. 254, 396 E. 3.1 S. 399). Die Frage, ob der Beschwerdeführer hinreichend dargetan hat, worin die spezifischen Grundrechtsverletzungen liegen sollen, kann offen bleiben. Denn einerseits hat sich die Vorinstanz mit der entsprechenden Rüge ausführlich auseinandergesetzt; ihren Erwägungen ist nichts beizufügen. Anderseits befasst sich der Beschwerdeführer in der Beschwerdebegründung kaum, jedenfalls nicht den Anforderungen von Art. 42 Abs. 1 und 2 BGG entsprechend, mit den diesbezüglichen Erwägungen des kantonalen Gerichts. Letzteres gilt auch hinsichtlich des Begehrens, die Beitragsforderung sei mit einem Schaden zu verrechnen, den ihm die Invalidenversicherung zugefügt habe.
3. Hauptsächlicher Streitpunkt im vorinstanzlichen Verfahren war die Frage, ob der Beschwerdeführer im Jahr 2003 beitragsrechtlich zutreffend als Nichterwerbstätiger qualifiziert worden war.
Nach <ref-law> bemessen sich die Beiträge Nichterwerbstätiger nach deren sozialen Verhältnissen. Gemäss der Rechtsprechung richtet sich der jährliche Beitrag nach den effektiven wirtschaftlichen Verhältnissen, wie sie aus den Steuermeldungen für das betreffende Jahr hervorgehen (<ref-ruling> E. 3a in fine S. 5). Der Beschwerdeführer bringt letztinstanzlich zu Recht nicht mehr vor, die Qualifikation sei rechtswidrig. Das kantonale Gericht hat dafür zutreffenderweise auf den Umstand abgestellt, dass die Steuerverwaltung des Kantons Zug der Ausgleichskasse nebst den Rentenauszahlungen ein Einkommen aus unselbständiger Tätigkeit von Fr. 200.- gemeldet hatte (vgl. Art. 29 Abs. 7 in Verbindung mit Art. 23 Abs. 1, 2 und 4 und <ref-law>). Daraus resultiert offensichtlich kein Beitrag vom Erwerbseinkommen, welcher den Mindestbeitrag nach <ref-law> erreichen würde (vgl. <ref-law>). Es ist davon auszugehen, dass die Tätigkeit des Beschwerdeführers für die Stiftung X._ jedenfalls im Jahr 2003 grösstenteils ehrenamtlicher Natur war. Auf die eingehenden Erwägungen der Vorinstanz kann vollumfänglich verwiesen werden.
4. Rückwirkend ausgerichtete Rentennachzahlungen der beruflichen Vorsorge werden für die Ermittlung der Beiträge als Nichterwerbstätiger gesamthaft im Jahr der tatsächlichen Auszahlung erfasst (Urteil H 311/03 vom 7. Dezember 2004). Auch insoweit hat die Vorinstanz zu Recht erkannt, dass die 2003 erfolgte Rentennachzahlung vollumfänglich in die Berechnungsgrundlage des Nichterwerbstätigenbeitrages für das Beitragsjahr 2003 einzubeziehen war.
5. Zinsen auf den Rentennachzahlungen stellen Vermögensertrag dar und fallen daher nicht unter den Begriff des Renteneinkommens (erwähntes Urteil H 311/03 E. 3.3). Die Abrechnungen bezüglich der Leistungen aus beruflicher Vorsorge für die Jahre 1993 bis 2003 zeigen, dass die Nachzahlungen auch Zinsen umfassten. Dies ändert aber nichts an der Richtigkeit der verfügten Beiträge: Die Obergrenzen der Nichterwerbstätigenbeiträge (Fr. 8400.- [AHV], Fr. 1400.- [IV] und Fr. 300.- [EO]) werden bei einem Vermögen (einschliesslich des mit Faktor 20 multiplizierten jährlichen Renteneinkommens) von vier Millionen Franken erreicht (<ref-law>, <ref-law> und <ref-law>, je in der ab 1. Januar 2003 geltenden Fassung). Der Anteil der mit Faktor 20 multiplizierten Rentennachzahlungen (von insgesamt Fr. 468'373.-) an dem für die Beitragsbemessung massgebenden Vermögen von Fr. 10'144'240.- beträgt Fr. 9'367'460.-. Es ist offensichtlich, dass eine Ausscheidung von Zinsen aus den Nachzahlungsbetreffnissen keinen Einfluss auf die Höhe der Beitragsforderung gehabt hätte.
6. Das Verfahren ist kostenpflichtig (<ref-law>). Die Gerichtskosten werden dem Verfahrensausgang entsprechend verlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 1000.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 5. Juli 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Traub