Sachverhalt: A. S._ bezog ab 1. April 1994 Zusatzleistungen zur Altersrente der AHV. Am .... 2008 verstarb ihr Cousin W._. Gemäss Erbenverzeichnis der letzten Wohngemeinde des Verstorbenen vom 17. Juni 2008 gehörte S._ zu den gesetzlichen Erben. Da das Nachlassvermögen gegenüber der Steuerbehörde nicht deklarierte Wertschriften und Kontoguthaben enthielt, wurde Ende Juli 2008 ein Nachsteuerverfahren eingeleitet. Im Rahmen der periodischen Überprüfung des Anspruchs auf Zusatzleistungen zur AHV/IV im März 2009 wurde im entsprechenden Formular u.a. nach Anteilen an unverteilten Erbschaften gefragt, was S._ verneinte. Am 28. April 2010, ein Tag nach Rechnungsstellung für die Nachsteuer (Bund, Kanton und Gemeinde) erfolgte eine erste Auszahlung des Erbanteils in der Höhe von Fr. 114'400.-, am 20. April 2011 gestützt auf die Liquidations- und Teilungsrechnung der Bank Y._ vom 31. März 2011 die zweite über Fr. 66'604.35. Mit Schreiben vom 24. Mai 2011 teilte S._ dem Amt für Zusatzleistungen zur AHV/IV der Stadt Zürich mit, "dass .... mein Erbteil eines Blut-Cousins endlich geteilt wurde". Mit Verfügung vom 30. Juni 2011 forderte die Amtsstelle Fr. 69'915.- für im Zeitraum vom 1. April 2008 bis 31. Juli 2011 zu viel ausgerichtete Zusatzleistungen (Ergänzungsleistungen: Fr. 48'160.-, Beihilfen: Fr. 8'080.-, Gemeindezuschüsse: Fr. 12'775.-, Einmalzulagen: Fr. 900.-) zurück. Dagegen erhob S._ am 8. Juli 2011 Einsprache, nachdem sie zwei Tage zuvor ihre Bank beauftragt hatte, die zurückgeforderte Summe zu überweisen. Mit Einspracheentscheid vom 23. November 2011 bestätigte das Amt für Zusatzleistungen zur AHV/IV der Stadt Zürich die Rückerstattungspflicht im festgesetzten Umfang. B. Die Beschwerde von S._ hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Februar 2012 in dem Sinne teilweise gut, dass es den angefochtenen Einspracheentscheid aufhob und die Sache an das Amt für Zusatzleistungen zur AHV/IV der Stadt Zürich zurückwies, damit dieses im Sinne der Erwägungen den Anspruch auf Zusatzleistungen neu berechne und den Rückerstattungsanspruch neu festlege. C. Das Amt für Zusatzleistungen zur AHV/IV der Stadt Zürich führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid vom 29. Februar 2012 sei aufzuheben. S._ beantragt, der angefochtene Entscheid sei zu bestätigen. Das kantonale Sozialversicherungsgericht und das Bundesamt für Sozialversicherungen haben auf eine Vernehmlassung verzichtet.