Sachverhalt:
A. Mit Verfügung vom 17. Mai 2001 sprach die IV-Stelle des Kantons Zürich G._ rückwirkend ab 1. August 1999 eine ganze Rente der Invalidenversicherung samt einer Zusatzrente für die Ehefrau und fünf Kinderrenten zu. Sie stützte sich dabei in medizinischer Hinsicht u.a. auf das Gutachten der Kantonalen Psychiatrischen Klinik X._ vom 5. Februar 2001 ab. Mit Mitteilungen vom 4. November 2002 und 30. Oktober 2007 bestätigte die IV-Stelle mangels festgestellter Änderung bei der Überprüfung des Invaliditätsgrades die Rente. Rückwirkend ab 1. Dezember 2005 richtete sodann die IV-Stelle Hilflosenentschädigung wegen leichter Hilflosigkeit aus (Verfügung vom 23. Mai 2008).
Im August 2010 leitete die IV-Stelle ein (weiteres) Revisionsverfahren ein. Nachdem sie die Leistungen wegen unbekannten bzw. nicht festen Wohnsitzes sistiert hatte, liess sie G._ untersuchen und begutachten (Expertise Dr. med. B._, FMH für Psychiatrie und Psychotherapie, vom 28. Januar 2012). Nach durchgeführtem Vorbescheidverfahren hob sie mit Verfügungen vom 8. Juni 2012 Rente und Hilflosenentschädigung wiedererwägungsweise auf.
B. Die Beschwerde des G._ wies das Sozialversicherungsgericht des Kantons Zürich unter Berücksichtigung des Rapports der Kantonspolizei Zürich über den Wohnungsbrand vom xxx und der diesbezüglichen Stellungnahmen der Parteien mit Entscheid vom 3. Dezember 2012 ab.
C. G._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid vom 3. Dezember 2012 sei aufzuheben und es seien ihm weiterhin die gesetzlichen Leistungen auszurichten, unter Gewährung der unentgeltlichen Rechtspflege.
Die IV-Stelle beantragt die Abweisung der Beschwerde. Das kantonale Sozialversicherungsgericht und das Bundesamt für Sozialversicherungen haben auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Die Vorinstanz hat die wiedererwägungsweise Aufhebung der ganzen Rente und der Hilflosenentschädigung für Hilflosigkeit leichten Grades (zugesprochen mit Verfügung vom 17. Mai 2001 und vom 23. Mai 2008) durch die IV-Stelle gestützt auf <ref-law> mit folgender Begründung bestätigt: Die damals getätigten Abklärungen erwiesen sich nicht nur als ungenügend, sondern auch als falsch. Die Diagnose einer posttraumatischen Belastungsstörung sei nur deshalb gestellt worden, weil der Beschwerdeführer den Wohnungsbrand gegenüber den Ärzten nicht nur dramatisierend, sondern derart falsch geschildert habe, dass diese von einem katastrophenartigen Geschehen hätten ausgehen müssen. Gemäss dem Brandrapport der Kantonspolizei Zürich vom xxx habe es sich lediglich um ein bagatelläres Feuer ohne massive Rauchentwicklung gehandelt, das sofort habe gelöscht werden können und nur geringen Schaden angerichtet habe. Auch sei niemand verletzt worden und es habe zu keinem Zeitpunkt für irgendwen Lebensgefahr bestanden. Offenkundig sei der Beschwerdeführer seit jeher nicht im medizinisch-theoretischen Sinne krank gewesen und die Einschränkungen seien auf invaliditätsfremde Gründe zurückzuführen, namentlich die über ein Jahrzehnt dauernde Passivität, welche nicht Ausfluss einer Krankheit sei.
2. 2.1 Klar unzutreffende Annahmen, die für die Diagnosestellung von entscheidender Bedeutung sind, können in gleicher Weise wie das Fehlen einer (nachvollziehbaren) fachärztlichen Einschätzung der Arbeitsfähigkeit eine Leistungszusprechung als zweifellos unrichtig im wiedererwägungsrechtlichen Sinne erscheinen lassen (vgl. SVR 2010 IV Nr. 19 S. 58, 9C_272/2009 E. 5.3; Urteile 9C_724/2012 vom 29. Oktober 2012 E. 3.1 und 9C_960/2008 vom 6. März 2009 4.2, je mit Hinweis). Entgegen der Auffassung der Vorinstanz ist vorliegend weder dieser noch jener Tatbestand gegeben.
2.2 Die Zusprechung der ganzen Rente mit Verfügung vom 17. Mai 2001 beruhte auf den Beurteilungen verschiedener Fachärzte, insbesondere auf dem Gutachten der Kantonalen Psychiatrischen Klinik X._ vom 5. Februar 2001, wie in der Beschwerde richtig vorgebracht wird. Dabei bestand Übereinstimmung, namentlich in Bezug auf das Vorliegen einer posttraumatischen Belastungsstörung (PTBS; vgl. dazu etwa <ref-ruling> E. 3.5 S. 148). Von einer ungenügenden resp. unvollständigen Sachverhaltsabklärung, die Anlass für eine Wiedererwägung der darauf gestützten Rentenzusprechung geben könnte, kann jedenfalls nicht gesprochen werden.
Dr. med. E._, FMH Psychiatrie und Psychotherapie, die den Versicherten damals behandelte, hielt in ihrem Bericht vom 7. März 2000 unter der Anamnese fest: "Der Pat. wurde xxx von der Arbeit nach Hause gerufen, da die Wohnung brannte. Während ca. 10 Minuten Ungewissheit, ob die vier Kinder mit der Ehefrau noch in der Wohnung waren oder nicht". Im Gutachten der Kantonalen Psychiatrischen Klinik X._ vom 5. Februar 2001 sodann wurde in der Anamnese zum Vorkommnis vom 14. Mai 1998 Folgendes festgehalten: "Am xxx im Rahmen eines Wohnungsbrandes, wo vermutlich eines der Kinder nicht zu finden gewesen sei, sei der Explorand in einen Schockzustand zu seiner Wohnung gegangen, wo er dann die ganze Familie in der Wohnung des Abwartes angetroffen habe." Inwiefern sich aus diesen Anamnesen ergeben soll, der Beschwerdeführer habe den Ärzten gegenüber das fragliche Ereignis falsch geschildert, sodass diese fälschlicherweise eine PTBS diagnostizierten, ist nicht ersichtlich. Insbesondere war er nach verbindlicher Feststellung der Vorinstanz (Art. 105 Abs. 1 und 2 BGG) im Zeitpunkt des Brandes nicht zu Hause gewesen, was die Angst, Familienangehörige könnten beim Brand zu Schaden gekommen sein, durchaus als glaubhaft erscheinen lässt. Aufgrund der Akten kann jedenfalls nicht gesagt werden, der Beschwerdeführer habe das Ereignis vom xxx in einer Weise geschildert, dass die - und zwar alle - mit ihm befassten Fachärzte einzig und gerade deswegen zu einer klar unzutreffenden Diagnosestellung gelangten.
2.3 Es kann somit nicht davon gesprochen werden, die seinerzeitige Rentenzusprechung sei aufgrund nicht nur ungenügender, sondern sogar falscher Abklärungen zweifellos unrichtig gewesen. Eine Aufhebung der Rente und auch der Hilflosenentschädigung unter dem Titel Wiedererwägung (<ref-law>) fällt daher ausser Betracht. Im Übrigen stellt eine in einem neuen Gutachten als diskutabel oder sogar fehlerhaft bezeichnete Diagnose in früheren fachärztlichen Expertisen in der Regel auch keine prozessual revisionsrechtlich erhebliche neue Tatsache im Sinne von <ref-law> dar (Urteil 9C_955/ 2012 vom 13. Februar 2013 E. 3, insbes. E. 3.3.4).
3. Weder Verwaltung noch Vorinstanz haben geprüft, ob die Leistungen allenfalls gestützt auf <ref-law> herabzusetzen oder aufzuheben sind. Diesbezüglich ist vor allem von Interesse, ob die Einschätzung der Arbeitsfähigkeit des Gutachters Dr. med. B._ nicht nur eine - revisionsrechtlich irrelevante - andere Beurteilung des im Wesentlichen unverändert gebliebenen Gesundheitszustandes darstellt (Urteile 8C_877/2012 vom 21. Januar 2013 E. 4.4.1 und 9C_468/ 2009 vom 9. September 2009 E. 1.3, je mit Hinweisen). In diesem Zusammenhang ist auch Folgendes zu beachten: Weder Verwaltung noch Vorinstanz haben den Invaliditätsgrad neu ermittelt (Urteil 9C_ 11/2008 vom 29. April 2008 E. 4.2.1). Offensichtlich wurde von einer medizinisch und erwerblich grundsätzlich sofort verwertbaren Arbeitsfähigkeit von 100 % ausgegangen. Dr. med. B._ ging indessen von einer Arbeitsunfähigkeit von 50 % aus, bedingt durch die passiv-aggressive Persönlichkeitsstörung (ICD-10 F60.81) und in kleinem Umfang durch die Benzodiazepinabhängigkeit (ICD-10 F13.25) als Folge der medikamentösen Behandlung. Durch eine suffiziente Fachbehandlung könne die Arbeitsunfähigkeit signifikant verringert werden. Konkret erforderlich sei der Abbau eines der bisher eingenommenen Medikamente und Ersatz durch ein geeigneteres sowie Neuausrichtung der Psychotherapie, um die Eigenanteile des Versicherten insbesondere am Vermeidungsverhalten und an der Selbstlimitierung, denen im Gesamtgeschehen grosse Bedeutung zukomme, bei nicht ausreichender Motivation zu bearbeiten. Sofern eine (grundsätzlich zumutbare) Fachbehandlung unter entsprechenden Kautelen durchgeführt werde, lasse sich die Arbeitsfähigkeit prinzipiell innerhalb von neun Monaten auf 100 % steigern. Es empfehle sich die Formulierung einer Schadenminderungspflicht, die den Exploranden verpflichte, an diesem gesamten Prozedere aktiv, kontinuierlich und hinreichend lange mitzuwirken.
Nach dem Gesagten geht die Sache an die IV-Stelle zurück, damit sie - allenfalls in Aktualisierung der medizinischen Erkenntnisses - die Voraussetzungen für die Aufhebung der Invalidenrente und der Hilflosenentschädigung gestützt auf <ref-law> prüfe und über die Ansprüche neu verfüge. Dabei wird sie auch die Frage der Aufenthaltsbewilligung abzuklären haben.
4. Aufgrund des Vorstehenden kann die unentgeltliche Rechtspflege für das erstinstanzliche Beschwerdeverfahren nicht wegen Aussichtslosigkeit des Prozesses verweigert werden (Urteil 9C_196/2012 vom 20. April 2012 E. 4.1 und E. 4.2.1). Die Vorinstanz wird nach Prüfung der weiteren Voraussetzungen (<ref-law>; sachliche Gebotenheit einer Verbeiständung, Bedürftigkeit) darüber neu zu entscheiden haben.
5. Bei diesem Ausgang des Verfahrens hat die Beschwerdegegnerin die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>). Sein Gesuch um unentgeltliche Rechtspflege ist demzufolge gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 3. Dezember 2012 und die Verfügungen der IV-Stelle des Kantons Zürich vom 8. Juni 2012 werden aufgehoben. Die Sache wird an die Verwaltung zurückgewiesen, damit sie im Sinne der Erwägungen über den Anspruch auf Invalidenrente und Hilflosenentschädigung ab 1. August 2012 neu verfüge. Im Übrigen wird die Beschwerde abgewiesen.
2. Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat die Rechtsvertreterin des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Das Sozialversicherungsgericht des Kantons Zürich hat über die unentgeltliche Rechtspflege für das vorangegangene Verfahren neu zu entscheiden.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse Swissmem, Zürich, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. April 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Fessler