Sachverhalt:
A. Der 1943 geborene deutsche Staatsangehörige D._ war im Zeitraum von 1992 bis 1996 in der Schweiz in unselbständiger Stellung erwerbstätig und demzufolge der hiesigen Alters- und Hinterlassenenversicherung unterstellt. Danach kehrten er und seine 1940 geborene Ehefrau B._ nach Deutschland zurück. 1999 beteiligten sich D._ und B._ an der Kommanditgesellschaft Y._. Gemäss dem Gesellschaftsvertrag in der Beilage zum Emissionsprospekt war Gegenstand des Unternehmens u.a. der Kauf, die Bewirtschaftung und gewerbliche Vermietung eines in Z._ gelegenen Büro- und Geschäftshauses. Die Einlagen der Investoren stellten das Eigenkapital von Fr. 4,5 Mio. (180 Anteile à Fr. 25'000.-) zur Finanzierung der Anschaffungskosten des Objektes dar. Am 7. Juni 2000 stellte die Ausgleichskasse Zug der Kommanditgesellschaft Y._die AHV/IV/EO-Minimalbeiträge der Teilhaber pro rata für 1999 in Rechnung. Mit Schreiben vom 17. Februar 2005 kündigte die Gesellschaft die "AHV-Mitgliedschaft" von D._ und B._ mit Wirkung auf den 29. Juli 1999, was die Ausgleichskasse u.a. unter Hinweis auf eine beim Eidg. Versicherungsgericht hängige Beschwerde betreffend die Versicherungspflicht der Gesellschafter der diversen Kommanditgesellschaften der Y._ jedoch ablehnte.
Mit Verfügungen vom 29. Juni 2005 und 7. Juni 2006 sprach die Schweizerische Ausgleichskasse B._ und D._ aufgrund einer anrechenbaren Beitragsdauer von drei Jahren und acht Monaten eine Altersrente zu.
Mit Schreiben vom 12. April 2008 stellte D._ für sich und seine Frau das Gesuch, die Beitragsjahre von 1999 bis 2006 anzuerkennen, die sich ergebenden Beiträge einzufordern und die ergangenen Rentenverfügungen rückwirkend zu korrigieren. Mit Verfügung vom 21. April 2008 lehnte die Ausgleichskasse den Antrag auf rückwirkende Abrechnung als Teilhaber der Kommanditgesellschaft Y._ ab. Daran hielt sie mit Einspracheentscheid vom 1. Oktober 2008 fest.
B. Die Beschwerde der B._ und des D._ wies die Sozialversicherungsrechtliche Kammer des Verwaltungsgerichts des Kantons Zug nach zweifachem Schriftenwechsel mit Entscheid vom 23. November 2009 ab.
C. B._ und D._ führen Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid vom 23. November 2009 und der Einspracheentscheid vom 1. Oktober 2008 seien aufzuheben und sie beginnend mit dem Beitritt zur Kommanditgesellschaft am 9. August 1999 bis und mit 2006 nachzuversichern und eine sich dann ergebende neue Leistungsberechnung vorzunehmen.

Erwägungen:
1. Streitgegenstand bildet die Versicherteneigenschaft der Beschwerdeführer als Teilhaber der Kommanditgesellschaft Y._ für den Zeitraum vom 9. August 1999 bis 31. Dezember 2006. Entgegen den Vorbringen in der Beschwerde hat die Vorinstanz den zu beurteilenden Zeitraum nicht auf die Zeit ab 1. Januar 2003 eingeschränkt. Das kantonale Gericht hat lediglich klargestellt, wie es sich intertemporalrechtlich mit der Anwendbarkeit des am 1. Januar 2003 in Kraft getretenen Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) verhält. Weder dieses Gesetz noch das am 1. Juni 2002 in Kraft getretene Abkommen vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit (FZA) haben im Übrigen eine in Bezug auf die streitige Frage relevante Änderung der Rechtslage gebracht.
2. Es ist unbestritten, dass die in der Schweiz domizilierte Kommanditgesellschaft erwerbliche Zwecke verfolgte, u.a. Kauf und Bewirtschaftung eines Wohn- und Geschäftshauses in Z._. Die Investoren, welche mit ihren Einlagen das Eigenkapital der Gesellschaft finanzierten, galten daher als Selbständigerwerbende im Sinne von <ref-law> und <ref-law> (in Verbindung mit <ref-law>; <ref-ruling> E. 2a und b S. 81 f.). Damit waren die betreffenden Personen - aufgrund der Akten alle ausländische Staatsangehörige ohne Wohnsitz in der Schweiz wie die Beschwerdeführer - nach Art. 1 (seit 1. Januar 2003: Art. 1a) Abs. 1 lit. b AHVG grundsätzlich der obligatorischen AHV unterstellt. Nach Auffassung der Vorinstanz konnte diese gesetzliche Folge aus denselben Gründen wie in dem in <ref-ruling> beurteilten Fall jedoch nicht eintreten.
3. In <ref-ruling> entschied das Eidg. Versicherungsgericht, dass gestützt auf das Rechtsmissbrauchsverbot nach <ref-law> die Unterstellung unter die obligatorische Alters- und Hinterlassenenversicherung zu verweigern ist resp. die Versicherteneigenschaft nicht zuerkannt werden kann, wenn im Rahmen der Beteiligung an einer Kommanditgesellschaft der als Volksversicherung zur Deckung des Existenzbedarfs bei Eintritt des versicherten Risikos konzipierten AHV der Zweck einer Finanzanlage zugedacht ist. Dies trifft dann zu, wenn unter Ausnutzung der versicherungstechnischen Solidarität systematisch mit geringen Beiträgen ein grosser Ertrag in Form einer vergleichsweise hohen Rente erwirtschaftet werden soll. Dabei ist Solidarität in dem Sinne zu verstehen, dass die Höhe der Beiträge grundsätzlich unbegrenzt, die Höhe der Leistung jedoch begrenzt ist, wobei das Gesetz eine Minimalrente vorsieht. Die Durchbrechung der Relation zwischen Beitrag und Rentenhöhe hat eine Umverteilung von oben nach unten zur Folge (<ref-ruling> E. 4.3.3-5 S. 103 ff.).
4. Die Beschwerdeführer bestreiten die Anwendbarkeit der Rechtsprechung gemäss <ref-ruling>.
4.1 Im Unterschied zum damals beurteilten Fall sei die Darstellung im Prospekt der Kommanditgesellschaft nicht geeignet gewesen, einen Interessenten zum Beitritt zu bewegen oder sogar die AHV als ein Objekt zur Finanzanlage zu betrachten. Das Thema AHV habe nicht im Vordergrund gestanden. Insbesondere sei nicht anhand eines Berechnungsbeispiels die günstige Relation zwischen Beitrags- und Rentenhöhe illustriert worden. Die im Kapitel "Rechtliche Grundlagen" erwähnten Daten zur AHV könnten aus jeder allgemeinen Informationsbroschüre zu diesem Sozialwerk entnommen werden.
Bei dieser Argumentation wird übersehen, dass für die Annahme eines Rechtsmissbrauchs ein allfälliges Verschulden oder eine böswillige Absicht des einzelnen Investors keine Rolle spielt (<ref-ruling> E. 4.3.4 S. 105). Es ist daher unerheblich, ob der Anspruch auf eine Altersrente und deren Höhe verglichen mit den entrichteten Beiträgen den Entscheid für eine Beteiligung an der Kommanditgesellschaft beeinflusste (insoweit missverständlich <ref-ruling> E. 4.3.2 S. 102 f.), was ohnehin nur schwer nachzuweisen ist. Es muss auch aus Gründen der Gleichbehandlung genügen, dass objektiv betrachtet der AHV der Zweck einer Finanzanlage in dem in <ref-ruling> E. 4.3.3 S. 104 dargelegten Sinne zukommt (vgl. vorne E. 3).
4.2 Sodann sei, entgegen der Auffassung der Vorinstanz, die Summe der bezahlten Beiträge verglichen mit den möglichen Rentenbezügen im Einzellfall relevant. Der Missbrauch sei letztlich auf die Relation Beitragsleistung zu Rentenleistung im Einzellfall bezogen. Davon könne hier nicht gesprochen werden, da aufgrund der als Unselbständigerwerbender in der Zeit vom 1. September 1992 bis 30. April 1996 entrichteten Beiträge eine ausgeglichene Situation vorliege.
Es ist nicht verboten, sein Geld möglichst gewinnbringend anzulegen und sich im Hinblick auf spätere Rentenleistungen an einer Kommanditgesellschaft zu beteiligen (<ref-ruling> E. 4.3.3 und 4.3.5 S. 103 ff.). Vorliegend wurde jedoch mit der Aufteilung des Eigenkapitals der Gesellschaft auf viele Investoren das Beitragssubstrat entsprechend zerstückelt, was aufgrund des variablen Beitragssatzes (<ref-law> und <ref-law>) zu vergleichsweise niedrigen Beiträgen resp. hohen Renten geführt hätte. Damit wäre die versicherungstechnische Solidarität, auf welcher die AHV beruht, systematisch unterlaufen worden, was in <ref-ruling> als offenbarer Rechtsmissbrauch im Sinne von <ref-law> qualifiziert wurde. Die Relation zwischen Beitrag und Rentenhöhe beim einzelnen Teilhaber ist nicht von Belang, somit auch nicht allfällige frühere Versicherungszeiten. Vorliegend waren rund 90 Personen am Eigenkapital der Kommanditgesellschaft von insgesamt Fr. 4,5 Mio. (180 Anteile à Fr. 25'000.-) beteiligt. Laut Emissionsprospekt betrug die Rendite 7 % im Jahr. Somit wäre noch auf der Rendite von drei Anteilen (Fr. 5'250.-) lediglich der Mindestbeitrag (ohne IV-Beitrag) von Fr. 324.- resp. Fr. 353.- (2005-2006), Fr. 370.- (2007-2008) und Fr. 382.- seit 1. Januar 2009 geschuldet gewesen (<ref-law>). Verglichen damit hätten aufgrund der Rententabellen 2005 acht anrechenbare Beitragsjahre (1999-2006) im Minimum, d.h. bei 44 Beitragsjahren des Jahrgangs, eine Altersrente von monatlich Fr. 195.- ergeben.
4.3 Des Weitern seien sie bereits vor dem Beitritt zur Kommanditgesellschaft im August 1999 in der Zeit vom 1. September 1992 bis 1. Mai 1996 der AHV unterstellt gewesen und hätten Beiträge entrichtet. Sie seien daher gemäss <ref-ruling> E. 4 S. 100 vom Vorwurf des Missbrauchs nicht betroffen.
Mit diesem Vorbringen wird Bezug genommen auf die Aussage in <ref-ruling> E. 4 S. 100: "Streitig ist die Versicherteneigenschaft (sowie daraus folgend die Beitragspflicht) derjenigen ausländischen Investoren der Kommanditgesellschaft X., welche nicht bereits aus einem anderen Grund bei der AHV versichert sind." Selbst wenn die Beschwerdeführer aufgrund der früheren Versicherungsunterstellung den hier ausgenommenen Personen gleichzustellen wären, ergibt sich daraus nichts zu ihren Gunsten. Teilhaber der Kommanditgesellschaft ausländischer Nationalität können Wohnsitz in der Schweiz haben oder hier eine Erwerbstätigkeit ausüben. Diese Tatbestände haben nach Art. 1a Abs. 1 lit. a und b AHVG die Unterstellung unter die obligatorische AHV zur Folge, was eine Prüfung der Versicherteneigenschaft obsolet macht. Dies bedeutet indessen nicht, dass für die betreffenden Personen <ref-ruling> nicht gälte. Sie sind in Bezug auf ihre Stellung als Teilhaber der Kommanditgesellschaft nicht versichert.
4.4 Schliesslich sei zu berücksichtigen, dass sie anfänglich als Selbständigerwerbende erfasst worden seien und ihr Gesuch um Kündigung der "AHV-Mitgliedschaft" rückwirkend auf den 29. Juli 1999 und eine allfällige Rückabwicklung inkl. Rückerstattung allenfalls bereits geleisteter Beiträge von der Ausgleichskasse am 21. Februar 2005 vorläufig abgelehnt worden sei. Dieser Einwand ist unbehelflich und, soweit damit der öffentlich-rechtliche Vertrauensschutz (vgl. dazu Urteil 9C_507/2009 vom 29. Januar 2010 E. 2) angerufen wird, zu wenig substanziiert (<ref-law> und <ref-law>). Im Übrigen bedarf die nachträgliche Aberkennung der Versicherteneigenschaft keines Rückkommenstitels (Wiedererwägung, prozessuale Revision; Art. 53 Abs. 1 und 2 ATSG), wenn die beantragte Unterstellung gegen das Rechtsmissbrauchsverbot nach <ref-law> verstösst.
Der vorinstanzliche Entscheid verletzt Bundesrecht nicht.
5. Dem Ausgang des Verfahrens entsprechend haben die Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden den Beschwerdeführern auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 23. März 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler