Sachverhalt: A. Mit Einspracheentscheid vom 24. März 2011 bestätigte die Ausgleichskasse des Kantons Zürich die mit Verfügungen vom 23. Dezember 2010 von S._ geforderten persönlichen Beiträge auf den Mieterträgen seiner im Kanton Aargau gelegenen Liegenschaft an der Strasse I._ in B._ für 2005 bis 2008. B. Die Beschwerde des S._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 14. Mai 2012 ab. C. S._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid vom 14. Mai 2012 sei aufzuheben, für die Beitragsjahre 2005 bis 2008 das beitragspflichtige Einkommen auf CHF 0 festzusetzen und die AHV-Beitragspflicht aufzuheben. Die Ausgleichskasse beantragt die Abweisung der Beschwerde. Das kantonale Sozialversicherungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.