Sachverhalt:
A.
Der 1970 geborene türkische Staatsangehörige B._ reiste am 12. November 2002 in die Schweiz ein und stellte am 20. November 2002 ein Asylgesuch; in der Folge wurde er als Flüchtling anerkannt. Im Mai 2005 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 2. April 2008 sprach ihm die IV-Stelle des Kantons Aargau eine ganze ausserordentliche Invalidenrente ab 1. November 2007 bei einem Invaliditätsgrad von 100 % zu. Nach Durchführung des Vorbescheidverfahrens zog die zwischenzeitlich zuständig gewordene IV-Stelle des Kantons Zürich die Verfügung vom 2. April 2008 in Wiedererwägung und hob die Rente rückwirkend ab 1. November 2007 auf; zudem verneinte sie - wie dies bereits in der Verfügung vom 2. April 2008 gemacht wurde - einen Anspruch auf eine ordentliche Invalidenrente (Verfügung vom 27. Dezember 2011).
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 5. August 2013 ab.
C.
B._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, der Entscheid vom 5. August 2013 sei aufzuheben und das Verfahren sei an die IV-Stelle zurückzuweisen, damit sie ergänzende medizinische Abklärungen vornehme. Ferner lässt er um unentgeltliche Rechtspflege ersuchen.
Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2.
2.1. Der Versicherungsträger kann auf formell rechtskräftige Verfügungen oder Einspracheentscheide zurückkommen, wenn diese zweifellos unrichtig sind und wenn ihre Berichtigung von erheblicher Bedeutung ist (<ref-law> [SR 830.1]).
Vorausgesetzt ist, dass kein vernünftiger Zweifel an der Unrichtigkeit der Verfügung möglich, also nur dieser einzige Schluss denkbar ist (Urteile 9C_418/2010 vom 29. August 2011 E. 3.2, in: SVR 2012 IV Nr. 18 S. 81, und 9C_575/2007 vom 18. Oktober 2007 E. 2.2; je mit Hinweisen). Dieses Erfordernis ist zumeist erfüllt, wenn eine Leistungszusprache auf Grund falscher Rechtsregeln erfolgt ist oder wenn massgebliche Bestimmungen nicht oder unrichtig angewandt wurden (Urteile 8C_33/2013 vom 13. Dezember 2013 E. 4.1; 9C_649/2011 vom 28. Juni 2012 E. 3.3). Die Berichtigung einer zweifellos unrichtigen Verfügung ist stets von erheblicher Bedeutung, wenn sie periodische Leistungen zum Gegenstand hat (<ref-ruling> E. 1c S. 480; Urteil 8C_586/2013 vom 23. Dezember 2013 E. 4.4, zur Publikation vorgesehen).
2.2. Die Vorinstanz hat die Verfügung vom 2. April 2008 für zweifellos unrichtig gehalten. Diesbezüglich hat sie erwogen, für die Begründung eines Anspruchs auf eine ausserordentliche Invalidenrente (<ref-law> in Verbindung mit Art. 11 des Abkommens vom 1. Mai 1969 zwischen der Schweiz und der Republik Türkei über soziale Sicherheit [SR 0.831.109.763.1] resp. Art. 1 Abs. 2 des Bundesbeschlusses vom 4. Oktober 1962 über die Rechtsstellung der Flüchtlinge und Staatenlosen in der Alters-, Hinterlassenen- und Invalidenversicherung [SR 831.131.11]) fehle es an einer lückenlosen Beitragszahlung nach Vollendung des 20. Altersjahres (<ref-law> in Verbindung mit <ref-law>), mithin ab Januar 2001 (recte: 1991). Folglich hat sie die Wiedererwägung der rentenzusprechenden Verfügung für zulässig gehalten.
2.3. Es ist nicht ersichtlich und wird auch nicht geltend gemacht, dass die ausserordentliche Invalidenrente (Art. 39 f. IVG) rechtskonform zugesprochen worden sein soll (E. 2.2; vgl. auch <ref-law>). Von diesem Anspruch zu unterscheiden und als eigenständiges Rechtsverhältnis (vgl. <ref-ruling> E. 1 S. 414 f.) zu prüfen ist eine allfällige Berechtigung auf eine ordentliche Invalidenrente (<ref-law>). Eine solche wurde mit Verfügung vom 2. April 2008 ausdrücklich verneint. Die Prüfung deren zweifelloser Unrichtigkeit kann sich daher von vornherein nicht auf die ordentliche Rente beziehen, weshalb die entsprechende Argumentation des Beschwerdeführers ins Leere zielt. Weiter steht fest und ist unbestritten, dass die Berichtigung der Verfügung vom 2. April 2008 von erheblicher Bedeutung ist. Die Vorinstanz hat die Wiedererwägung daher zu Recht bestätigt.
3.
3.1.
3.1.1. Anspruch auf eine ordentliche Rente haben die rentenberechtigten Versicherten, die bei Eintritt der Invalidität während mindestens eines vollen Jahres Beiträge geleistet haben (Art. 36 Abs. 1 IVG in der bis 31. Dezember 2007 geltenden Fassung). Die Invalidität gilt als eingetreten, sobald sie die für die Begründung des Anspruchs auf die jeweilige Leistung erforderliche Art und Schwere erreicht hat (<ref-law>).
Ist ein Versicherter zu mindestens 40 Prozent invalid, so hat er Anspruch auf eine Rente (<ref-law> in der bis 31. Dezember 2007 geltenden Fassung). Der Rentenanspruch nach Artikel 28 entsteht frühestens in dem Zeitpunkt, in dem der Versicherte (a) mindestens zu 40 Prozent bleibend erwerbsunfähig (<ref-law>) geworden ist oder (b) während eines Jahres ohne wesentlichen Unterbruch durchschnittlich mindestens zu 40 Prozent arbeitsunfähig (<ref-law>) gewesen war (<ref-law> in der bis 31. Dezember 2007 geltenden Fassung).
3.1.2. Es war und ist unbestritten, dass spätestens ab 1. November 2007 die Leistungsvoraussetzungen von Art. 28 Abs. 1 und Art. 29 Abs. 1 lit. b aIVG (vgl. heute <ref-law>) erfüllt waren. Streitig und zu prüfen ist, ob der Beschwerdeführer seit seiner Einreise in die Schweiz während wenigstens eines Jahres durchschnittlich mindestens 60 % arbeitsfähig war (vgl. <ref-law>) und somit die massgebliche Invalidität erst nach Erfüllung des Beitragsjahres eintrat, was für die Entstehung des Anspruchs auf eine ordentliche Rente vorausgesetzt ist. Lässt sich diese anspruchsbegründende Tatsache (vgl. <ref-law>) nicht mit überwiegender Wahrscheinlichkeit nachweisen, hat der Beschwerdeführer die Folgen der Beweislosigkeit zu tragen (<ref-ruling> E. 6 S. 221 f.).
3.2.
3.2.1. Bei der Beurteilung der Arbeitsunfähigkeit stützt sich die Verwaltung und im Beschwerdefall das Gericht auf Unterlagen, welche von ärztlichen und gegebenenfalls auch anderen Fachleuten zur Verfügung zu stellen sind. Aufgabe des Arztes oder der Ärztin ist es, den Gesundheitszustand zu beurteilen und dazu Stellung zu nehmen, in welchem Umfang und bezüglich welcher Tätigkeiten die versicherte Person arbeitsunfähig ist. Im Weiteren sind die ärztlichen Auskünfte eine wichtige Grundlage für die Beurteilung der Frage, welche Arbeitsleistungen der Person noch zugemutet werden können (<ref-ruling> E. 4 S. 99 f.). Hinsichtlich des Beweiswertes eines Arztberichtes ist entscheidend, ob dieser für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge sowie der medizinischen Situation einleuchtet und ob die Schlussfolgerungen der Experten begründet sind (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352 mit Hinweis).
3.2.2. Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (E. 1). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 4 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (<ref-law> und <ref-law>; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (<ref-law>).
3.2.3. Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 3.1 S. 44). Eine offensichtlich unrichtige Sachverhaltsfeststellung weist damit die Tragweite von Willkür auf (Botschaft des Bundesrates vom 28. Fe-bruar 2001 zur Totalrevision der Bundesrechtspflege, BBl 2001 S. 4338; MARKUS SCHOTT, Basler Kommentar, Bundesgerichtsgesetz, 2. Aufl. 2011, N. 9 f. zu <ref-law>). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (Urteil 9C_570/2007 vom 5. März 2008 E. 4.2). Eine Sachverhaltsfeststellung ist etwa dann offensichtlich unrichtig, wenn das kantonale Gericht den Sinn und die Tragweite eines Beweismittels offensichtlich falsch eingeschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat (<ref-ruling> E. 2.1 S. 9; Urteile 8C_5/2010 vom 24. März 2010 E. 1.2; 9C_368/2008 vom 11. September 2008 E. 4.2).
3.3. Die Vorinstanz hat unter Verweis auf die medizinischen Unterlagen festgestellt, dass der Beschwerdeführer bereits bei seiner Entlassung aus dem Gefängnis im Oktober 2001 u.a. an einem Wernicke-Korsakow-Syndrom, einer posttraumatischen Belastungsstörung und an depressiven Beschwerden gelitten habe. Dass das volle Beschwerdebild in der Schweiz nicht sofort habe erhoben werden können, sei auf die Sprachbarriere und auf die für die Abklärung und Einleitung der indizierten Behandlungen erforderliche Zeit zurückzuführen. Nach einem somatischen Konsilium seien Anfangs Februar 2003 erste Hinweise auf eine posttraumatische Belastungsstörung aufgefallen; der Psychostatus habe erst mit Übernahme der Behandlung durch türkisch sprechende Ärzte zuverlässig erhoben werden können. Trotz der umständehalber schrittweise erfolgten Vervollständigung des Krankheitsbildes hätten die seit der Gefängnisentlassung von verschiedenen involvierten Fachärzten erhobenen Symptome und gestellten Diagnosen keine wesentliche Änderung erfahren. Klare ärztliche Angaben zur Arbeitsfähigkeit in der fraglichen Zeit fehlten zwar. Dieses Schweigen sei indessen darauf zurückzuführen, dass sich die Frage nach der Arbeitsfähigkeit vor der Anmeldung bei der Invalidenversicherung gar nicht gestellt habe. Aus dem im Wesentlichen unveränderten Gesundheitszustand lasse sich schliessen, dass der Beschwerdeführer bereits bei seiner Einreise in die Schweiz in erheblichem Mass arbeitsunfähig gewesen sei.
3.4.
3.4.1. Aus dem Bericht der Menschenrechtsstiftung Türkei, Zweigstelle Istanbul, vom 17. Dezember 2002 ergibt sich, dass sich der Beschwerdeführer seit längerem in Gefangenschaft befand, verbunden mit Folter und Hungerstreik, als er am 27. Oktober 2001 vorübergehend aus der Haft entlassen wurde, weil seine Strafe aus gesundheitlichen Gründen für sechs Monate ausgesetzt wurde. Ab Ende Oktober 2001 bis zum 12. Februar 2002 wurde er mehrmals, namentlich psychiatrisch, internistisch und neurologisch, behandelt. Es wurden u.a. "depressive Beschwerden", "posttraumatische Belastungsstörung", "Wernicke-Enzephalopathie" und "Proximalmuskelschwäche" diagnostiziert, was angesichts der angeführten Befunde nachvollziehbar ist (E. 3.2.1). Nach der im November 2002 erfolgten Einreise in die Schweiz begab sich der Beschwerdeführer in hausärztliche Behandlung, wo umgehend verschiedene spezialärztliche Untersuchungen veranlasst wurden. U.a. empfahl der externe psychiatrische Dienst am 10. April 2003 "dringend", den Patienten einem türkisch sprechenden Psychiater vorzustellen; ab September 2005 konnte eine entsprechende Behandlung etabliert werden, wobei der behandelnde Psychiater eine posttraumatische Belastungsstörung mit schwerer depressiver Symptomatik (ICD-10: F43.1) diagnostizierte und "in der freien Marktwirtschaft" eine vollständige Arbeitsunfähigkeit attestierte. Angesichts dieser Umstände sind die vorinstanzlichen Feststellungen (E. 3.3) nicht offensichtlich unrichtig (E. 3.2.3).
3.4.2. Eine (vollständige) Arbeitsunfähigkeit wurde zwar erstmals am 13. April 2005 ärztlich attestiert. Die konkreten Gegebenheiten lassen daraus allerdings nicht schliessen, dass die Arbeitsfähigkeit zuvor höchstens unwesentlich (vgl. E. 3.1.2) beeinträchtigt war. Immerhin verneinte der zuständige türkische Fachmedizinausschuss eine Hafterstehungsfähigkeit bis April 2002. Weiter ist die posttraumatische Belastungsstörung gemäss ICD-10: F43.1 eine gravierende Diagnose mit einer Latenz von in der Regel höchstens sechs Monaten (Dilling/Freyberger [Hrsg.], Taschenführer zur ICD-10-Klassifikation psychischer Störungen, 6. Aufl. 2012, S. 173-175; http://www.dimdi.de/static/de/klassi/icd-10-who/kodesuche/onlinefas sungen/htmlamtl2013/block-f40-f48.htm), die - nebst anderen - bereits kurz nach der Haftentlassung fachärztlich gestellt wurde. Anhaltspunkte für eine vorübergehende erhebliche, mindestens ein Jahr dauernde Verbesserung des Gesundheitszustandes und der Arbeitsfähigkeit sind nicht ersichtlich. Die Angabe des Bruders des Beschwerdeführers, wonach dieser im normalen Leben ein geordnetes Verhalten zeige, keine Fehlhandlungen, und selbstständig in den Dingen des täglichen Lebens sei, genügt dafür jedenfalls ebenso wenig wie eine subjektive Einschätzung der Arbeitsfähigkeit.
Zur expliziten Frage der IV-Stelle nach dem Zeitpunkt des Eintritts resp. dem Verlauf der Arbeitsunfähigkeit nahm der behandelnde Psychiater im Bericht vom 19. Februar 2007 keine Stellung; in jenem vom 16. April 2011 verwies er dazu im Wesentlichen in allgemeiner Art auf die Latenz von posttraumatischen Belastungsstörungen, welche Ausführungen indessen keine Rückschlüsse zu Gunsten des Beschwerdeführers erlauben (vgl. Dilling/Freyberger, a.a.O., S. 175). Auch der damalige Hausarzt Dr. med. A._ konnte die Arbeitsfähigkeit für die Zeit nach der Einreise in die Schweiz nicht rückwirkend beurteilen (Bericht vom 8. August 2007). Schliesslich ist nicht ersichtlich, inwiefern die Dres. med. I._, C._, S._ und K._ diesbezüglich Angaben machen könnten, handelt es sich bei ihnen doch um Ärzte der Menschenrechtsstiftung Türkei in Istanbul, die den Beschwerdeführer seit Mitte Februar 2002 nicht mehr behandelten. Damit ist der Verzicht auf weitere Abklärungen in pflichtgemässer antizipierender Beweiswürdigung (<ref-ruling> E. 5.3 S. 236; <ref-ruling> E. 5.3 S. 148; <ref-ruling> E. 4b S. 94) erfolgt.
3.4.3. Nach dem Gesagten beruhen die vorinstanzlichen Feststellungen (E. 3.3) auch nicht auf einer Rechtsverletzung, weshalb sie für das Bundesgericht verbindlich bleiben (E. 1). Die Beschwerde ist unbegründet.
4.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer grundsätzlich die Gerichtskosten zu tragen (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege kann indessen entsprochen werden (<ref-law>; <ref-ruling> E. 4a S. 202). Es wird ausdrücklich auf <ref-law> hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Dr. Pierre Heusser wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. Februar 2014
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Dormann