Sachverhalt:
A. Der 1937 geborene H._ ist bei der Ausgleichskasse des Kantons St. Gallen als selbstständig Erwerbender erfasst. Er verkaufte seinen als Einzelfirma geführten Betrieb auf den 1. Juli 2003. In diesem Zusammenhang traf er mit dem Käufer u.a. die Vereinbarung vom 16. Dezember 2002 betreffend "Know-how-Transfer und Gewährung technischer Hilfe", worin er sich gegen Bezahlung von Fr. 1'800'000.-, zahlbar in zehn Jahresraten zu Fr. 180'000.-, zur Übertragung von Markenrechten und zur Beratung während einer Einführungsphase von mindestens zweieinhalb Jahren verpflichtete. Im Hinblick auf die Veräusserung seines Unternehmens hatte er die Angelegenheit zur Beurteilung der steuerlichen Situation dem kantonalen Steueramt unterbreitet. Dieses sicherte u.a. in Bezug auf die genannte Vereinbarung zu, dass die Besteuerung jährlich aufgrund der Zahlungen des Käufers im Jahr des Zahlungseingangs erfolgt. Vorgesehen seien ab dem Jahr 2004 bis zum Jahr 2013 jährliche Zahlungen von Fr. 180'000.-, wobei sie sich aufgrund wirtschaftlicher Veränderungen auch verschieben könnten. Diese Vergütungen würden zusammen mit den übrigen Einkünften im betreffenden Jahr des Zahlungseinganges besteuert. In der Folge erstattete die Steuerbehörde darüber der Ausgleichskasse keine Meldung. Im Rahmen einer Arbeitgeberkontrolle beim Käufer des Unternehmens erfuhr die Ausgleichskasse von der Vereinbarung betreffend "Know-how-Transfer und Gewährung technischer Hilfe". Mit Verfügungen vom 23. Juni 2009 erhob sie von H._ für die Jahre 2004 bis 2006 "Beiträge für Selbstständigerwerbende" von je Fr. 17'472.-, wobei sie jeweils nebst einem Betrag von Fr. 18'000.- aus der Auflösung von Rückstellungen die erwähnte Jahresrate von Fr. 180'000.- als beitragspflichtiges Einkommen betrachtete. Daran hielt sie mit Einspracheentscheid vom 30. August 2010 fest.
B. Die Beschwerde des H._ wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 2. November 2011 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt H._ beantragen, der Entscheid vom 2. November 2011 sei aufzuheben und es sei für eine Beitragserhebung für die Jahre 2004 bis 2006 von der Basis eines Jahreseinkommens von Fr. 18'000.- auszugehen; eventualiter sei der angefochtene Entscheid an die Verwaltung zur Neubeurteilung zurückzuweisen; subeventualiter sei der angefochtene Entscheid an das Versicherungsgericht zur Neubeurteilung zurückzuweisen.
Die Ausgleichskasse hat keine Stellungnahme eingereicht. Das kantonale Gericht und das Bundesamt für Sozialversicherungen haben auf eine Vernehmlassung verzichtet.

Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
2. 2.1 Der Beschwerdeführer beanstandet, dass die Richterinnen und der Richter des vorinstanzlichen Spruchkörpers alle der gleichen politischen Partei angehören. Ein konkreter Ablehnungsantrag und ein daraus abgeleiteter Antrag auf Aufhebung des angefochtenen Entscheides aus formellen Gründen sowie auf Rückweisung an die Vorinstanz zur Neubeurteilung in anderer Besetzung werden jedoch nicht gestellt (vgl. <ref-law>). Schon deshalb sind die genannten Rügen nicht zu berücksichtigen. Sie würden jedoch auch einer materiellen Prüfung nicht standhalten: Der blosse Umstand, dass mehrere Richter derselben Partei angehören, kann nicht als Ausstandsgrund im Sinne von Art. 34 Abs. 1 Buchstabe e BGG betrachtet werden (vgl. Verfügung 2C_466/2010 vom 25. Oktober 2010 E. 2.4; ISABELLE HÄNER, in: Basler Kommentar, 2008, N. 20 zu <ref-law>). Gleiches gilt in Bezug auf die im kantonalen Sozialversicherungsverfahren anwendbare bundesrechtliche Vorgabe von <ref-law>. Der Beschwerdeführer legt auch nicht dar, dass ein Mitglied des Spruchkörpers oder der Gerichtsschreiber in einer Weise aktiv geworden sein oder sich geäussert haben soll, die ein berechtigtes Misstrauen in die Unvoreingenommenheit hätte erwecken können.
2.2 Weiter ist in formeller Hinsicht auf die Rüge einer Verletzung der Begründungspflicht durch die Vorinstanz einzugehen. Diese hat die als wesentlich und erstellt erachteten Tatsachen und die daraus gezogenen rechtlichen Schlüsse nachvollziehbar dargelegt. Darin kann keine Verletzung der aus dem Anspruch auf rechtliches Gehör nach <ref-law> sowie <ref-law> (SR 830.1) und <ref-law> abgeleiteten Prüfungs- und Begründungspflicht (Urteil 5A_368/2007 vom 18. September 2007 E. 2; vgl. auch <ref-ruling> E. 5.3 S. 357 ff.) erblickt werden (Urteil 9C_215/2010 vom 20. April 2010 E. 3). Entscheidend ist, dass es den Parteien möglich ist, das vorinstanzliche Erkenntnis - unter Berücksichtigung der Kognition des Bundesgerichts (HANSJÖRG SEILER und andere, Bundesgerichtsgesetz [BGG], 2007, N. 9 f. zu <ref-law>) - sachgerecht anzufechten (<ref-ruling> E. 4.1 S. 88; <ref-ruling> E. 3.3 S. 445; <ref-ruling> E. 1a S. 181). Dies trifft hier zu.
2.3 Auch soweit er eine Verletzung der Dispositionsmaxime geltend macht, kann der Beschwerdeführer nichts für sich ableiten: Das kantonale Gericht darf im Rahmen der Rechtsanwendung von Amtes wegen grundsätzlich ohne Weiteres von den rechtlichen Begründungen der Parteien abweichen; zudem ist es nicht an die Begehren der Parteien gebunden (<ref-law>).
3. 3.1 Streitig und zu prüfen ist die Frage, ob für die Jahre 2004 bis 2006 die Zahlungen von jährlich Fr. 180'000.- beitragspflichtiges Einkommen des Beschwerdeführers aus selbstständiger Erwerbstätigkeit darstellen.
3. 3.1 Streitig und zu prüfen ist die Frage, ob für die Jahre 2004 bis 2006 die Zahlungen von jährlich Fr. 180'000.- beitragspflichtiges Einkommen des Beschwerdeführers aus selbstständiger Erwerbstätigkeit darstellen.
3.2 3.2.1 Gemäss <ref-law> schulden die erwerbstätigen Versicherten Beiträge auf dem aus einer unselbstständigen oder selbstständigen Erwerbstätigkeit fliessenden Einkommen. Nach <ref-law> ist jedes Erwerbseinkommen, das nicht Entgelt für in unselbstständiger Stellung geleistete Arbeit darstellt, Einkommen aus selbstständiger Erwerbstätigkeit. Als solches gelten alle in selbstständiger Stellung erzielten Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf, sowie aus jeder anderen selbstständigen Erwerbstätigkeit, einschliesslich der Kapital- und Überführungsgewinne nach <ref-law> (SR 642.11) und der Gewinne aus der Veräusserung von land- und forstwirtschaftlichen Grundstücken nach <ref-law>, mit Ausnahme der Einkünfte aus zu Geschäftsvermögen erklärten Beteiligungen nach <ref-law> (<ref-law>; SR 831.101).
3.2.2 Nicht unter den Begriff der selbstständigen Erwerbstätigkeit im Sinne von <ref-law> und <ref-law> fällt die blosse Verwaltung des eigenen Vermögens; der daraus resultierende reine Kapitalertrag unterliegt daher nicht der Beitragspflicht. Gleiches gilt in Bezug auf Gewinne aus privatem Vermögen, welche in Ausnützung einer zufällig sich bietenden Gelegenheit erzielt worden sind. Anderseits stellen Kapitalgewinne aus der Veräusserung oder Verwertung von Gegenständen des Privatvermögens, wie Wertschriften oder Liegenschaften, auch bei nicht buchführungspflichtigen (Einzel-)Betrieben, Einkommen aus selbstständiger Erwerbstätigkeit dar, wenn und soweit sie auf gewerbsmässigem Handel beruhen (<ref-ruling> E. 3.1 S. 253; <ref-ruling> E. 2a S. 385 mit Hinweisen).
Für die Abgrenzung beitragspflichtiger Erwerbseinkommen und beitragsfreier Kapitalerträge ist entscheidend, ob die betreffenden, die wirtschaftliche Leistungsfähigkeit erhöhenden Einkünfte in einer relevanten kausalen Beziehung zu einer erwerblichen Tätigkeit stehen. Dabei spielt es für die beitragsrechtliche Qualifikation an sich keine Rolle, in welchem Zeitpunkt die Einkünfte zufliessen (AHI 1994 S. 135 E. 2c; HANSPETER KÄSER, Unterstellung und Beitragswesen in der obligatorischen AHV, 2. Aufl., Bern 1996, S. 69 Rz. 3.11). Die Praxis anerkennt, wenn auch sehr zurückhaltend, seit jeher Ausnahmen von diesem Grundsatz, indem unter qualifizierten Umständen der Kausalzusammenhang im (beitrags-) rechtlichen Sinne zwischen einer erwerblichen Tätigkeit und damit an sich tatsächlich noch in einem Bezug stehenden Einkünften verneint und diese als beitragsfreier Kapitalertrag betrachtet werden. So kann sich bei auf eine Erfindertätigkeit zurückgehenden Einkünften im Besonderen der Inhaber der Erfindung oder des entsprechenden gewerblichen Schutzrechtes (Patent, Marke) durch die Einräumung einer ausschliesslichen Lizenz derart von seinem Recht lösen, dass er keinen Einfluss mehr auf dessen Verwertung und auch kein Mitspracherecht mehr besitzt. Alsdann stellen die Lizenzgebühren nur noch die Entschädigung für die Abtretung eines Rechtes dar, also den Gegenwert für eine gleichsam vom Lizenzgeber entäusserte Sache, und werden als beitragsfreier Kapitalertrag betrachtet (<ref-ruling> E. 1 S. 28 f. mit Hinweis; ZAK 1985 S. 613 E. 3 mit Hinweisen). Diese Praxis wird indessen wiederum insofern relativiert, als die Einkünfte eines berufsmässigen Erfinders (vgl. dazu AHI 1994 S. 135 E. 3) aus Lizenzverträgen zum beitragspflichtigen Einkommen (aus selbstständiger oder unselbstständiger Erwerbstätigkeit) gehören; in solchen Fällen braucht nicht wie sonst geprüft zu werden, ob der Erfinder an der Verwertung der Erfindung persönlich in irgendeiner Form beteiligt ist (EVGE 1966 S. 206 E. 2 mit Hinweisen; ZAK 1988 S. 289, 1979 S. 74 E. 1 mit Hinweisen; zum Ganzen vgl. KÄSER, a.a.O., S. 78 ff. Rz. 3.37 ff.). Diese Rechtsprechung gilt nicht nur für patentierte Erfindungen, sondern für alle Ergebnisse merkantiler Tätigkeiten wie Know-how, Goodwill usw., welche sich in geldwerten Vermögenspositionen niederschlagen (vgl. <ref-ruling>;) und sich als Frucht der (früheren) selbstständigen (oder unselbstständigen) Erwerbstätigkeit darstellen (Urteil H 158/05 vom 4. Mai 2007 E. 3.2).
Für die Abgrenzung beitragspflichtiger Erwerbseinkommen und beitragsfreier Kapitalerträge ist entscheidend, ob die betreffenden, die wirtschaftliche Leistungsfähigkeit erhöhenden Einkünfte in einer relevanten kausalen Beziehung zu einer erwerblichen Tätigkeit stehen. Dabei spielt es für die beitragsrechtliche Qualifikation an sich keine Rolle, in welchem Zeitpunkt die Einkünfte zufliessen (AHI 1994 S. 135 E. 2c; HANSPETER KÄSER, Unterstellung und Beitragswesen in der obligatorischen AHV, 2. Aufl., Bern 1996, S. 69 Rz. 3.11). Die Praxis anerkennt, wenn auch sehr zurückhaltend, seit jeher Ausnahmen von diesem Grundsatz, indem unter qualifizierten Umständen der Kausalzusammenhang im (beitrags-) rechtlichen Sinne zwischen einer erwerblichen Tätigkeit und damit an sich tatsächlich noch in einem Bezug stehenden Einkünften verneint und diese als beitragsfreier Kapitalertrag betrachtet werden. So kann sich bei auf eine Erfindertätigkeit zurückgehenden Einkünften im Besonderen der Inhaber der Erfindung oder des entsprechenden gewerblichen Schutzrechtes (Patent, Marke) durch die Einräumung einer ausschliesslichen Lizenz derart von seinem Recht lösen, dass er keinen Einfluss mehr auf dessen Verwertung und auch kein Mitspracherecht mehr besitzt. Alsdann stellen die Lizenzgebühren nur noch die Entschädigung für die Abtretung eines Rechtes dar, also den Gegenwert für eine gleichsam vom Lizenzgeber entäusserte Sache, und werden als beitragsfreier Kapitalertrag betrachtet (<ref-ruling> E. 1 S. 28 f. mit Hinweis; ZAK 1985 S. 613 E. 3 mit Hinweisen). Diese Praxis wird indessen wiederum insofern relativiert, als die Einkünfte eines berufsmässigen Erfinders (vgl. dazu AHI 1994 S. 135 E. 3) aus Lizenzverträgen zum beitragspflichtigen Einkommen (aus selbstständiger oder unselbstständiger Erwerbstätigkeit) gehören; in solchen Fällen braucht nicht wie sonst geprüft zu werden, ob der Erfinder an der Verwertung der Erfindung persönlich in irgendeiner Form beteiligt ist (EVGE 1966 S. 206 E. 2 mit Hinweisen; ZAK 1988 S. 289, 1979 S. 74 E. 1 mit Hinweisen; zum Ganzen vgl. KÄSER, a.a.O., S. 78 ff. Rz. 3.37 ff.). Diese Rechtsprechung gilt nicht nur für patentierte Erfindungen, sondern für alle Ergebnisse merkantiler Tätigkeiten wie Know-how, Goodwill usw., welche sich in geldwerten Vermögenspositionen niederschlagen (vgl. <ref-ruling>;) und sich als Frucht der (früheren) selbstständigen (oder unselbstständigen) Erwerbstätigkeit darstellen (Urteil H 158/05 vom 4. Mai 2007 E. 3.2).
3.3 3.3.1 Die vorinstanzliche Feststellung, wonach die Marken und das Know-how sowie der entsprechende Wert in engem Zusammenhang mit der jahrelangen selbstständigen Erwerbstätigkeit des Beschwerdeführers stehen, ist evident und für das Bundesgericht verbindlich (E. 1.1). Sie wird denn auch vom Beschwerdeführer zu Recht nicht in Abrede gestellt. Angesichts der klaren Kausalität zwischen der früheren Berufstätigkeit und dem fraglichen Einkommen hat das kantonale Gericht für dieses grundsätzlich zu Recht die Beitragspflicht bejaht.
3.3.2 Was der Beschwerdeführer dagegen vorbringt, hält nicht stand. Es spielt keine Rolle, dass er kein "berufsmässiger Erfinder" ist oder war; entscheidend ist, dass die genannte Rechtsprechung (E. 3.2.2) insbesondere auch auf das Entgelt für Know-how in Bezug auf nicht patentierbare Verfahren und für Marken (vgl. KÄSER, a.a.O., S. 79 Rz. 3.41), wie sie Gegenstand der Vereinbarung betreffend "Know-how-Transfer und Gewährung technischer Hilfe" bildeten, anwendbar ist. Was die zusätzlich vereinbarte Beratung in den ersten zweieinhalb Jahren nach Abschluss der Vereinbarung anbelangt, so handelt es sich zweifellos um eine (selbstständige) Erwerbstätigkeit (<ref-ruling> E. 3 S. 62), weshalb auch diesbezüglich eine Beitragspflicht besteht. Demnach war und ist es nicht erforderlich, den Wert der einzelnen Vertragskomponenten zu differenzieren, was im Übrigen auch die Vertragsparteien selber unterliessen. Weiter ist nicht von Belang, dass die hier zur Diskussion stehenden (immateriellen) Werte in einem allfälligen Zwangsvollstreckungsverfahren nicht verwertbar wären. Dies trifft auf Goodwill und an bestimmte Personen gebundenes Know-how meistens zu; eine optimale Verwertung lässt sich denn auch in der Regel nicht in solchen Verfahren, sondern nur mit einer geplanten Unternehmensnachfolge wie im konkreten Fall erreichen. Dies ändert indessen nichts daran, dass ein tatsächlich erzielter Erlös der Beitragspflicht unterliegt. Daraus, dass die besagten Werte nicht in der Bilanz per 30. September 2003, in welcher auch die Zahlen per 31. Dezember 2002 ersichtlich sind, aktiviert waren und im Gutachten über das übertragene Geschäftsvermögen nicht aufgeführt wurden, kann der Beschwerdeführer ebenfalls nichts für sich ableiten, läge es doch sonst in seiner Hand, über die Beitragspflicht zu entscheiden. Zudem zeigt die Tatsache, dass der Unternehmensnachfolger bereit war, insgesamt den Betrag von Fr. 1'800'000.- dafür zu zahlen, dass die vereinbarten Leistungen des Beschwerdeführers - jedenfalls im Zusammenhang mit der Übernahme des gesamten Betriebs - offensichtlich einen Marktwert haben. Insoweit er schliesslich geltend macht, er habe nur "zufällig" einen Käufer gefunden, der "aus gutem Willen" bereit war, den Betrag zu bezahlen, ist lediglich relevant, dass er das Entgelt tatsächlich realisiert (vgl. KÄSER, a.a.O., S. 112 Rz. 4.8), was unbestritten ist. Diese Argumentation des Beschwerdeführers hätte zur Folge, dass ein Nettoerlös aus der Liquidation des eigenen Betriebes nie der Beitragspflicht unterliegen würde, was klar der bisherigen Rechtsprechung widerspräche.
3.3.3 Weil sich der massgebliche Sachverhalt bereits klar aus den vorhandenen Unterlagen ergab, liegt darin, dass die Vorinstanz nicht noch weitere Akten beigezogen hat, keine Verletzung des Anspruchs auf rechtliches Gehör (<ref-law>). Auch auf Partei- und Zeugenbefragungen durfte sie in pflichtgemässer antizipierender Beweiswürdigung (vgl. <ref-ruling> E. 5.3 S. 236; <ref-ruling> E. 5.3 S. 148) verzichten.
3.3.3 Weil sich der massgebliche Sachverhalt bereits klar aus den vorhandenen Unterlagen ergab, liegt darin, dass die Vorinstanz nicht noch weitere Akten beigezogen hat, keine Verletzung des Anspruchs auf rechtliches Gehör (<ref-law>). Auch auf Partei- und Zeugenbefragungen durfte sie in pflichtgemässer antizipierender Beweiswürdigung (vgl. <ref-ruling> E. 5.3 S. 236; <ref-ruling> E. 5.3 S. 148) verzichten.
3.4 3.4.1 Die Angaben der kantonalen Steuerbehörden sind für die Ausgleichskassen verbindlich (<ref-law>). Diese absolute Verbindlichkeit und die daraus abgeleitete relative Bindung des Sozialversicherungsgerichts an die rechtskräftigen Steuertaxationen sind auf die Bemessung des massgebenden Einkommens und des betrieblichen Eigenkapitals beschränkt (vgl. <ref-law>). Sie betrifft indessen nicht die beitragsrechtliche Qualifikation und beschlägt daher auch nicht die Fragen, ob überhaupt Erwerbseinkommen vorliegt und ob es gegebenenfalls aus selbstständiger oder aus unselbstständiger Tätigkeit stammt oder ob die Person, die das Einkommen bezieht, überhaupt beitragspflichtig ist. Somit haben die Ausgleichskassen ohne Bindung an die Steuermeldung aufgrund einer sozialversicherungsrechtlichen Betrachtung zu beurteilen, wer resp. ob jemand für ein von der Steuerbehörde (allenfalls nicht) gemeldetes Einkommen beitragspflichtig ist (<ref-ruling> E. 3.3 S. 253 f.; <ref-ruling> E. 2c S.83; <ref-ruling> E. 2 S. 75; <ref-ruling> E. 4 S. 86, je mit Hinweisen; SVR 2011 AHV Nr. 17 S. 62, 9C_132/2011 E. 3.3). Besteht keine Identität zwischen dem von der Steuerbehörde ermittelten und dem sozialversicherungsrechtlich beitragspflichtigen Einkommen, kann auch keine Bindung der Ausgleichskassen an die (allenfalls fehlende) Meldung der Steuerbehörde angenommen werden (vgl. PETER FORSTER, AHV-Beitragsrecht, 2007, S. 149 Rz. 18; PAUL CADOTSCH, Die Verbindlichkeit der Steuermeldungen für die AHV-Beitragsfestsetzung, ASA 62 1993/1994 S. 375; HANSPETER KÄSER, Unterstellung und Beitragswesen in der obligatorischen AHV, 2. Aufl. 1996, S. 211 Rz. 8.29; RETO BÖHI, Der unterschiedliche Einkommensbegriff im Steuerrecht und im Sozialversicherungsrecht und seine Auswirkungen auf die Beitragserhebung, 2001, S. 150).
3.4.2 Im konkreten Fall weigerte sich die Steuerbehörde, der Ausgleichskasse für die Jahre 2004 bis 2006 eine Steuermeldung zuzustellen (vgl. dazu Rz. 4017 der Wegleitung über die Beiträge der Selbstständigerwerbenden und Nichterwerbstätigen in der AHV, IV und EO [WSN]). Daraus lässt sich nach dem Gesagten nicht auf eine sozialversicherungsrechtlich fehlende Beitragspflicht schliessen, zumal die fraglichen Beträge zweifellos zum steuerbaren Einkommen des Beschwerdeführers gehören - und zwar unbesehen, ob sie aus einer Erwerbstätigkeit stammen oder nicht, was indessen für die beitragsrechtliche Qualifikation entscheidend ist. Zudem bildete die beitragsrechtliche Behandlung der Einkünfte des Beschwerdeführers nicht Bestandteil der Vereinbarung mit der Steuerbehörde und die Ausgleichskasse war auch nicht an deren Zustandekommen beteiligt. Der Beitragspflichtige kann ihr daher nicht entgegenhalten, die Steuerbehörde habe bewusst auf eine Meldung verzichtet. Der Ausgleichskasse, die anlässlich einer Arbeitgeberkontrolle beim Käufer des Unternehmens auf die Zahlungen an den Beschwerdeführer stiess, war es daher nicht verwehrt, diese als beitragspflichtiges Einkommen zu erfassen.
3.5 Die übrigen Faktoren der Beitragsbemessung werden nicht angefochten. Es besteht kein Anlass für eine nähere Prüfung von Amtes wegen (E. 1.2). Das kantonale Gericht hat folglich zu Recht die Beitragspflicht bestätigt.
4. Entsprechend dem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen. Die obsiegende Beschwerdegegnerin hat keinen Anspruch auf Parteientschädigung (<ref-law>; <ref-ruling> E. 7 S. 487; <ref-ruling> E. 6.1 S. 235; <ref-ruling> E. 5b S. 133).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 1'400.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. Juli 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Dormann