Sachverhalt:
A. Der 1981 geborene G._ meldete sich im Mai 2008 bei der Invalidenversicherung an und beantragte die Umschulung auf eine andere Tätigkeit als den erlernten handwerklichen Beruf im Baugewerbe. Mit Mitteilung vom 6. April 2009 sprach ihm die IV-Stelle des Kantons Zürich die Ausbildung zum ... an der Schule X._ vom 25. April 2009 bis 3. April 2011 zu. Gemäss den eingereichten Unterlagen arbeitete der Versicherte seit 2008 zu 100 % als ... bei der Y._ AG. Mit Verfügung vom 29. September 2009 setzte die IV-Stelle gestützt auf die Berechnung der Ausgleichskasse des Schweizerischen Baumeisterverbandes (nachfolgend: Ausgleichskasse Baumeister) das Taggeld auf Fr. 158.40 fest. Nachdem die Ausgleichskasse die Zahlungen auf Ende Juli 2010 eingestellt hatte, forderte die IV-Stelle mit Verfügung vom 23. Dezember 2010 von G._ zu Unrecht ausgerichtete Taggelder in der Höhe von Fr. 67'414.- (453 x Fr. 158.40 abzüglich Sozialversicherungsbeiträge) zurück.
B. Die Beschwerde des G._ wies das Sozialversicherungsgericht des Kantons Zürich nach zweifachem Schriftenwechsel mit Entscheid vom 10. April 2012 ab.
C. G._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, die Verfügung vom 23. Dezember 2010 sei aufzuheben und es sei festzustellen, dass der IV-Stelle kein Rückforderungsanspruch zusteht.
Die IV-Stelle reicht eine Stellungnahme der Ausgleichskasse Baumeister ein. Das kantonale Sozialversicherungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
In einer weiteren Eingabe hat sich G._ zu den Ausführungen der Ausgleichskasse geäussert.

Erwägungen:
1. Die Vorinstanz hat eine Verletzung des rechtlichen Gehörs durch die IV-Stelle festgestellt, den Mangel jedoch als geheilt erachtet. Der Beschwerdeführer rügt dies als bundesrechtswidrig (Art. 95 lit. a BGG). Seine Vorbringen sind indessen zu wenig substanziiert und setzen sich mit den diesbezüglichen Erwägungen der Vorinstanz auch nicht auseinander (Art. 41 Abs. 2 und Art. 106 Abs. 2 BGG). Darauf ist daher nicht näher einzugehen.
2. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 1.4 S. 140).
3. Die Unrechtmässigkeit des Bezugs von Taggeldern der Invalidenversicherung in der Höhe von Fr. 67'414.- im Zeitraum vom 9. April 2009 bis 31. Juli 2010 und die grundsätzliche Rückerstattungspflicht des Beschwerdeführers nach Art. 25 Abs. 1 Satz 1 ATSG stehen ausser Frage. Den Einwand, wonach die Rückforderung zu spät mit Verfügung vom 23. Dezember 2010 geltend gemacht worden sei und einer solchen zudem Treu und Glauben entgegenstünden, hat die Vorinstanz als nicht stichhaltig erachtet, was in der Beschwerde als bundesrechtswidrig gerügt wird.
4. Der Rückforderungsanspruch erlischt mit dem Ablauf eines Jahres, nachdem die IV-Stelle davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung (Art. 25 Abs. 2 Satz 1 ATSG in Verbindung mit Art. 2 ATSG und Art. 1 Abs. 1 IVG). Bei diesen Fristen handelt es sich um Verwirkungsfristen, die immer und von Amtes wegen zu berücksichtigen sind (<ref-ruling> E. 4.1 S. 582; <ref-ruling> E. 1 S. 12; <ref-ruling> E. 2b S. 350). Für den Beginn der relativen einjährigen Verwirkungsfrist ist nicht das erstmalige unrichtige Handeln und die daran anknüpfende unrechtmässige Leistungsausrichtung massgebend. Abzustellen ist auf jenen Tag, an dem die IV-Stelle später bei der ihr gebotenen und zumutbaren Aufmerksamkeit den Fehler hätte erkennen müssen und dass die Voraussetzungen für eine Rückerstattung gegeben sind (<ref-ruling> E. 1 S. 383; <ref-ruling> E. 5a und 5b/aa S. 274 f.; SVR 2002 IV Nr. 2, I 678/00 E. 3b: "Wahrnehmung der Unrichtigkeit der Leistungsausrichtung aufgrund eines zusätzlichen Indizes"; Urteil 9C_737/2009 vom 1. April 2010 E. 2.1). Dies ist der Fall, wenn alle im konkreten Einzelfall erheblichen Umstände zugänglich sind, aus deren Kenntnis sich der Rückforderungsanspruch dem Grundsatz nach und in seinem Ausmass gegenüber einer bestimmten rückerstattungspflichtigen Person ergibt (<ref-ruling> E. 3 S. 17; SVR 2011 EL Nr. 7 S. 21, 9C_999/2009 E. 3.2.1). Wo die Leistungszusprechung auf dem Zusammenwirken von IV-Stelle und zuständiger Ausgleichskasse beruht, wie etwa beim Taggeld nach Art. 22 IVG (vgl. Art. 57 und 60 IVG), genügt für den Beginn des Fristenlaufs die nach der dargelegten Praxis erforderliche Kenntnis einer dieser Stellen (<ref-ruling> E. 4c S. 182 f.; ZAK 1989 S. 558, H 212/88 E. 4b; Urteil 9C_1057/2008 vom 4. Mai 2009 E. 4.2.1).
5. 5.1 Nach den verbindlichen Feststellungen der Vorinstanz (Art. 105 Abs. 1 und 2 BGG) war bereits im Zeitpunkt der Zusprechung der Umschulung zum ... gemäss Mitteilung vom 6. April 2009 aktenkundig, dass der Beschwerdeführer während der am 25. des Monats beginnenden zweijährigen Eingliederungsmassnahme erwerbstätig sein würde. Laut dem eingereichten Arbeitsvertrag arbeitete er seit 2008 als ... bei der Y._ AG zu einem Monatslohn von Fr. 5'500.- brutto. Auf diese Festanstellung wies die IV-Stelle auch im Schreiben vom 6. April 2009 hin, mit dem sie die Ausgleichskasse Baumeister um Berechnung der Geldleistung sowie Erstellung und Versendung der Verfügung ersuchte. Dem Schreiben war u.a. auch der Arbeitsvertrag beigelegt. Die Ausgleichskasse ermittelte ein Taggeld von Fr. 158.40 auf der Grundlage des früher erzielten durchschnittlichen Tagesverdienstes. Dabei liess sie den während der Umschulung erzielten Monatslohn von Fr. 5'500.- brutto unberücksichtigt - eine Anrechnung hätte zu einer Kürzung von Fr. 159.- geführt - , was nach der in E. 4 hievor dargelegten Rechtsprechung der erste, die relative einjährige Verwirkungsfrist nach Art. 25 Abs. 2 ATSG noch nicht auslösende Fehler war. Dies verkennt der Beschwerdeführer, soweit er vorbringt, die Frist habe mit der Zustellung des Arbeitsvertrages zu laufen begonnen.
5.2 Weiter hat die Vorinstanz festgestellt, es bestünden keine Anhaltspunkte, dass die IV-Stelle zwischen dem Erlass der Taggeldverfügung vom 29. September 2009 und dem Leistungsstopp auf Ende Juli 2010, dies nach dem Hinweis des Steueramtes auf den gleichzeitigen Bezug von Taggeldern und Lohn, eine Veranlassung gehabt haben könnte, den Fehler zu bemerken. Der Beschwerdeführer bestreitet diese Feststellungen, ohne jedoch Umstände zu nennen, aufgrund derer die IV-Stelle bei zumutbarer Aufmerksamkeit den Fehler früher hätte entdecken müssen. Seine angebliche telefonische Erkundigung betreffend die Richtigkeit der Berechnung (volles Taggeld bei gleichzeitigem Lohnbezug) ist beweislos geblieben, was zu seinen Lasten geht (Art. 8 ZGB; <ref-ruling> E. 3b S. 264).
Sodann macht der Beschwerdeführer nicht geltend, die Verwaltung (Ausgleichskasse und IV-Stelle) sei verpflichtet, die Grundlagen der Taggeld-Berechnung etwa betreffend die Kürzung wegen Erzielung von Erwerbseinkommen während der Eingliederungsmassnahme (Art. 21septies IVV) mehr oder weniger regelmässig oder sogar periodisch einer gezielten Überprüfung zu unterziehen. Eine solche Verpflichtung ergibt sich weder aus dem Gesetz noch aus den einschlägigen bundesamtlichen Weisungen (vgl. zu den Renten der AHV und IV Rz. 11117 ff. der einschlägigen Wegleitung [RWL, in der ab 1. Januar 2003 gültigen Fassung, Stand: 1. Januar 2012]; vgl. auch Urteil 9C_737/2009 vom 1. April 2010 E. 2.3.1). Im Weitern mag zwar zutreffen, dass ohne den Hinweis der Steuerbehörde, der zur Leistungseinstellung auf Ende Juli 2010 führte, der Fehler nie bzw. erst nach Ablauf der einjährigen Verwirkungsfrist entdeckt worden wäre. Indessen ist nicht einsehbar, dass aus diesem Grund die Verwertung der betreffenden Information unzulässig sein soll, wie der Beschwerdeführer vorbringt. Im Übrigen ist unerheblich und kann demzufolge offenbleiben, ob die IV-Stelle nach Kenntnis von der fehlerhaften Taggeld-Berechnung aufgrund des Hinweises der Steuerbehörde die Rückerstattungsverfügung früher hätte erlassen können. Der Beschwerdeführer macht nicht geltend, es seien deshalb länger als nötig Leistungen ausgerichtet worden, auf die kein Anspruch bestand.
5.3 Nach dem Gesagten ist der Rückforderungsanspruch mit Verfügung vom 23. Dezember 2010 nicht verspätet geltend gemacht worden.
6. Die Vorinstanz hat einlässlich dargelegt, weshalb vorliegend der öffentlich-rechtliche Vertrauensschutz (Grundsatz von Treu und Glauben bei unrichtigen behördlichen Auskünften vgl. dazu Urteil 9C_507/2009 vom 29. Januar 2010 E. 2 mit Hinweisen) keine vom materiellen Recht abweichende Behandlung des Beschwerdeführers im Sinne der Verneinung einer Rückerstattungspflicht rechtfertigt. Die dagegen vorgebrachten Einwendungen erschöpfen sich weitgehend in unzulässiger appellatorischer Kritik an der vorinstanzlichen Sachverhaltsfeststellung und Beweiswürdigung (Art. 97 Abs. 1 BGG; <ref-ruling> E. 5.1 S. 356). Der Hinweis auf Ueli Kieser, ATSG-Kommentar, 2. Aufl. 2009, N. 9 zu Art. 46 ATSG, bzw. <ref-ruling> hilft nicht, da es dort um eine andere Thematik im Zusammenhang mit Telefonnotizen geht (vgl. zur Aktenführungspflicht der IV-Stellen und Ausgleichskassen Art. 46 ATSG sowie Urteil 9C_951/2011 vom 26. April 2012 E. 8.1.2 und SVR 2011 IV Nr. 44 S. 131, 8C_319/2010 E. 2.2.2). Entgegen der Auffassung des Beschwerdeführers ist es nicht überspitzt formalistisch zu verlangen, leistungsrelevante Anfragen bei der IV-Stelle nicht telefonisch, sondern schriftlich zu stellen und sich telefonische Auskünfte schriftlich bestätigen zu lassen. Die gegenteilige Auffassung führte zu einer gesetzwidrigen Umkehr der Beweislast.
7. Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. September 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Fessler