Sachverhalt: A. Der 1943 geborene deutsche Staatsangehörige D._ war im Zeitraum von 1992 bis 1996 in der Schweiz in unselbständiger Stellung erwerbstätig und demzufolge der hiesigen Alters- und Hinterlassenenversicherung unterstellt. Danach kehrten er und seine 1940 geborene Ehefrau B._ nach Deutschland zurück. 1999 beteiligten sich D._ und B._ an der Kommanditgesellschaft Y._. Gemäss dem Gesellschaftsvertrag in der Beilage zum Emissionsprospekt war Gegenstand des Unternehmens u.a. der Kauf, die Bewirtschaftung und gewerbliche Vermietung eines in Z._ gelegenen Büro- und Geschäftshauses. Die Einlagen der Investoren stellten das Eigenkapital von Fr. 4,5 Mio. (180 Anteile à Fr. 25'000.-) zur Finanzierung der Anschaffungskosten des Objektes dar. Am 7. Juni 2000 stellte die Ausgleichskasse Zug der Kommanditgesellschaft Y._die AHV/IV/EO-Minimalbeiträge der Teilhaber pro rata für 1999 in Rechnung. Mit Schreiben vom 17. Februar 2005 kündigte die Gesellschaft die "AHV-Mitgliedschaft" von D._ und B._ mit Wirkung auf den 29. Juli 1999, was die Ausgleichskasse u.a. unter Hinweis auf eine beim Eidg. Versicherungsgericht hängige Beschwerde betreffend die Versicherungspflicht der Gesellschafter der diversen Kommanditgesellschaften der Y._ jedoch ablehnte. Mit Verfügungen vom 29. Juni 2005 und 7. Juni 2006 sprach die Schweizerische Ausgleichskasse B._ und D._ aufgrund einer anrechenbaren Beitragsdauer von drei Jahren und acht Monaten eine Altersrente zu. Mit Schreiben vom 12. April 2008 stellte D._ für sich und seine Frau das Gesuch, die Beitragsjahre von 1999 bis 2006 anzuerkennen, die sich ergebenden Beiträge einzufordern und die ergangenen Rentenverfügungen rückwirkend zu korrigieren. Mit Verfügung vom 21. April 2008 lehnte die Ausgleichskasse den Antrag auf rückwirkende Abrechnung als Teilhaber der Kommanditgesellschaft Y._ ab. Daran hielt sie mit Einspracheentscheid vom 1. Oktober 2008 fest. B. Die Beschwerde der B._ und des D._ wies die Sozialversicherungsrechtliche Kammer des Verwaltungsgerichts des Kantons Zug nach zweifachem Schriftenwechsel mit Entscheid vom 23. November 2009 ab. C. B._ und D._ führen Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid vom 23. November 2009 und der Einspracheentscheid vom 1. Oktober 2008 seien aufzuheben und sie beginnend mit dem Beitritt zur Kommanditgesellschaft am 9. August 1999 bis und mit 2006 nachzuversichern und eine sich dann ergebende neue Leistungsberechnung vorzunehmen.