Sachverhalt:
A. Mit Einspracheentscheid vom 24. März 2011 bestätigte die Ausgleichskasse des Kantons Zürich die mit Verfügungen vom 23. Dezember 2010 von S._ geforderten persönlichen Beiträge auf den Mieterträgen seiner im Kanton Aargau gelegenen Liegenschaft an der Strasse I._ in B._ für 2005 bis 2008.
B. Die Beschwerde des S._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 14. Mai 2012 ab.
C. S._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid vom 14. Mai 2012 sei aufzuheben, für die Beitragsjahre 2005 bis 2008 das beitragspflichtige Einkommen auf CHF 0 festzusetzen und die AHV-Beitragspflicht aufzuheben.
Die Ausgleichskasse beantragt die Abweisung der Beschwerde. Das kantonale Sozialversicherungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
Erwägungen:
1. Der Beschwerdeführer hat die Veranlagungsverfügung des Steueramtes B._ vom 24. Mai 2012 über die Grundstückgewinnsteuer aus der Veräusserung der Liegenschaft an der Strasse I._ eingereicht als Beleg dafür, dass es sich dabei um Privatvermögen handelte. Dieses Dokument hat aufgrund des Novenverbots (Art. 99 Abs. 1 BGG) sowie der Bindung des Bundesgerichts an den vorinstanzlich festgestellten Sachverhalt (Art. 105 Abs. 1 BGG) und der Beschränkung der Prüfung in tatsächlicher Hinsicht auf die in Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG festgelegten Beschwerdegründe unbeachtet zu bleiben (Urteil 9C_311/2012 vom 23. August 2012 E. 2.2 mit Hinweisen).
2. Der Beschwerdeführer rügt, die Meldungen des Kantonalen Steueramtes Zürich vom 13. Juni 2009 und 11. Dezember 2010, welche Anlass zur Erhebung persönlicher Beiträge für 2005 bis 2008 gegeben hätten, beruhten auf einem offensichtlich falschen Sachverhalt, nämlich dass sich die Liegenschaft an der Strasse I._ in B._ im Geschäftsvermögen befunden habe. Es bestünden jedoch mehrere Beweise, dass es sich dabei um Privatvermögen handle. Die Vorinstanz habe dieses u.a. vom Kantonalen Steueramt Aargau mit Schreiben vom 5. August 2011 bestätigte Sachverhaltselement einfach ausser Acht gelassen und somit ihren Entscheid willkürlich getroffen. Gemäss der schriftlichen Auskunft des Kantonalen Steueramtes Zürich vom 6. Juni 2011 könne die Qualifikationsfrage, ob Privat- oder Geschäftsvermögen, erst bei der Veräusserung der Liegenschaft erfolgen. Die Verfügung und der Einspracheentscheid seien somit verfrüht ergangen.
3. 3.1 Die absolute Verbindlichkeit der Angaben der Steuerbehörden für die Ausgleichskassen und die daraus abgeleitete relative Bindung des Sozialversicherungsgerichts an die rechtskräftigen Steuertaxationen (Urteil 9C_819/2011 vom 19. Januar 2012 E. 1) sind auf die Bemessung des massgebenden Einkommens und des betrieblichen Eigenkapitals beschränkt. Sie betrifft somit insbesondere nicht die Frage, ob eine Liegenschaft zum Privatvermögen zählt oder ob es sich um Geschäftsvermögen handelt. Diese Unterscheidung ist steuerrechtlich häufig ohne Belang, da der Ertrag sowohl aus Privat- als auch aus Geschäftsvermögen steuerbar ist. Demgegenüber sind lediglich die Erträge von Liegenschaften des Geschäftsvermögens der Beitragspflicht aus selbständiger Erwerbstätigkeit unterworfen (BGE 134 V 250 E. 3.1 S. 252 mit Hinweisen; Art. 23 Abs. 1 und 4 AHVV; Urteil 9C_803/2011 vom 23. August 2012 E. 3.5.2 mit Hinweisen).
3.2 Die Vorinstanz hat festgestellt, es fehle ein klarer Nachweis, dass die Liegenschaft in B._ in den Jahren 2005 bis 2008 dem Privat- und nicht dem Geschäftsvermögen zuzuordnen gewesen sei. Die vom Beschwerdeführer eingereichten Unterlagen gäben nicht eindeutig und zweifelsfrei Aufschluss. Klare Irrtümer in Bezug auf die Zuordnung der Liegenschaft zum Geschäftsvermögen seien indessen nicht ausgewiesen. Sinngemäss seien daher die Angaben der kantonalen Steuerbehörde auch für sie verbindlich.
Diese Erwägungen zeigen, dass die Vorinstanz die vorliegend entscheidende Frage, ob die Liegenschaft an der Strasse I._ in B._ in den Jahren 2005 bis 2008 zum Geschäfts- oder zum Privatvermögen gehörte, nicht eigenständig und frei geprüft hat. Eine solche Prüfung unter Beizug der Steuerakten war indessen unabdingbar, vor allem in Anbetracht der offenbar unterschiedlichen Auffassungen der Steuerbehörden im Standortkanton der Liegenschaft (Aargau) und im Wohnsitzkanton des Beschwerdeführers (Zürich). Das wird die Vorinstanz nachzuholen haben. In diesem Sinne ist die Beschwerde begründet und verletzt der angefochtene Entscheid Bundesrecht (Art. 95 lit. a BGG).
4. Bei diesem Ausgang des Verfahrens hat die Ausgleichskasse die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG) und dem Beschwerdeführer eine Parteienentschädigung zu bezahlen (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 14. Mai 2012 wird aufgehoben. Die Sache wird im Sinne der Erwägungen zu neuer Entscheidung über die Beitragspflicht des Beschwerdeführers für 2005 bis 2008 an die Vorinstanz zurückgewiesen.
2. Die Gerichtskosten von Fr. 4'000.- werden der Ausgleichskasse des Kantons Zürich auferlegt.
3. Die Ausgleichskasse des Kantons Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 27. September 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Fessler