Sachverhalt:
A. Der 1955 im Gaza-Streifen geborene S._ reiste im Jahr 1998 aus dem Irak, in welchem er sich zuletzt aufgehalten hatte, in die Schweiz ein, wo er als Flüchtling ohne Nationalität vorläufig aufgenommen wurde. Im Mai 2006 meldete er sich für Leistungen der Invalidenversicherung an. Die IV-Stelle des Kantons Thurgau traf erwerbliche und medizinische Abklärungen (u.a. Einholung eines MEDAS-Gutachtens vom 15. März 2007) und verneinte mit Verfügung vom 21. Mai 2007 einen Anspruch auf eine ordentliche Invalidenrente. Zur Begründung wurde ausgeführt, S._ sei bereits bei der Einreise in die Schweiz invalid gewesen und habe daher die für einen Rentenanspruch erforderliche Mindestbeitragsdauer nicht erfüllt.
B. Die von S._ hiegegen erhobene Beschwerde wies die AHV/IV-Rekurskommission des Kantons Thurgau (seit 1. Januar 2008: Verwaltungsgericht des Kantons Thurgau) mit Entscheid vom 6. November 2007 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten erneuert S._ sein Rentenbegehren mit der Begründung, er sei erst in der Schweiz invalid geworden. Weiter ersucht er um unentgeltliche Rechtspflege.
Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Mit Eingabe vom 12. Januar 2008 legt S._ einen Arztbericht vom 20. Dezember 2007 auf.

Erwägungen:
1. Auf die formal knapp den gesetzlichen Mindestanforderungen (<ref-law>) genügende Beschwerde ist einzutreten.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht kann es nur insofern prüfen, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
3. Vorinstanz und Verwaltung verneinen den Anspruch auf eine ordentliche Invalidenrente der schweizerischen Invalidenversicherung mit der Begründung, der Beschwerdeführer sei bei der Einreise in die Schweiz bereits invalid gewesen. Er habe daher die erforderliche Mindestbeitragsdauer bis zum Eintritt der Invalidität nicht erfüllt.
4. Der Anspruch von Schweizern und ausländischen Staatsangehörigen auf eine ordentliche Invalidenrente der schweizerischen Invalidenversicherung setzt unter anderem voraus, dass bei Eintritt der Invalidität während einer bestimmten Zeit Beiträge geleistet wurden (Art. 6 Abs. 1 [in der seit Anfang 2001 geltenden Fassung] und Abs. 2 [je in der bis und der seit Anfang 1997 geltenden Fassung], <ref-law>). Nichts anderes gilt für Flüchtlinge und Staatenlose mit Wohnsitz und gewöhnlichem Aufenthalt in der Schweiz (Art. 1 Abs. 1 und Art. 3bis des Bundesbeschlusses über die Rechtsstellung der Flüchtlinge und Staatenlosen in der Alters-, Hinterlassenen- und Invalidenversicherung vom 4. Oktober 1962, FlüB, SR 831.131.11; zu den Staatenlosen auch: <ref-law>).
Hievon abweichende Regelungen, mit welchen auf Sozialversicherungsabkommen mit anderen Staaten oder (wie in Art. 6 Abs. 2 in Verbindung mit <ref-law>) auf unter 20jährige Personen Bezug genommen wird, kommen im vorliegenden Fall mangels entsprechender Abkommen resp. Sachverhalte nicht zur Anwendung.
5. War der Beschwerdeführer bei der Einreise in die Schweiz bereits invalid, wie von der Vorinstanz entschieden, kann er die erforderliche Beitragszeit bis zum Eintritt der Invalidität nicht erfüllt haben und ist nach dem zuvor Gesagten der Anspruch auf eine ordentliche Invalidenrente, ohne dass deren weitere Voraussetzungen noch zu prüfen wären, zu verneinen.
5.1 Im angefochtenen Entscheid sind die Bestimmungen und Grundsätze zu Begriff und Eintritt der Invalidität sowie zum für eine Invalidenrente erforderlichen Invaliditätsgrad und dessen Bestimmung zutreffend dargelegt. Darauf wird verwiesen.
Hervorzuheben ist, dass die Invalidität als eingetreten gilt, sobald sie die für die Begründung des Anspruchs auf die jeweilige Leistung erforderliche Art und Schwere erreicht hat (<ref-law>).
5.2 Die Rekurskommission ist zum Ergebnis gelangt, dass als anspruchsrelevanter Gesundheitsschaden eine schwere Persönlichkeitsstörung vorliege. Sie hat weiter erwogen, dieses Leiden habe die Arbeitsfähigkeit des Beschwerdeführers mit überwiegender Wahrscheinlichkeit bereits im Zeitpunkt der Einreise in der Schweiz in einer den Anspruch auf eine Invalidenrente begründenden Weise eingeschränkt. Zur Begründung wird im angefochtenen Entscheid namentlich auf das MEDAS-Gutachten vom 15. März 2007 verwiesen.
Der Beschwerdeführer erhebt Einwendungen gegen die MEDAS-Expertise. Er bestreitet zudem ausdrücklich, bereits bei der Einreise in die Schweiz invalid gewesen zu sein.
5.3 Im MEDAS-Gutachten vom 15. März 2007 wird ausgeführt, aus somatischer Sicht bestehe durch eine Diabetes-Krankheit insofern eine Beeinträchtigung, als auf eine geregelte Mahlzeiteneinnahme zu achten sei und Arbeiten mit häufigen Schichtwechsel und Nachtarbeit zu vermeiden seien. In psychischer Hinsicht liege eine schwere expansiv paranoische Persönlichkeitsstörung bei Verdacht auf eine posttraumatische Belastungsstörung vor. Wegen dieses Leidens sei der Versicherte keinem Arbeitgeber zumutbar. Eine Persönlichkeitsstörung entstehe in der Kindheit resp. im jungen Erwachsenenalter. Mit hoher Wahrscheinlichkeit habe der Gesundheitsschaden bereits vor der Einreise in der Schweiz bestanden. Auch für den Fall, dass eine posttraumatische Belastungsstörung vorliege, sei davon auszugehen, dass dieses Leiden bereits bei der Einreise in die Schweiz bestanden habe.
Soweit im Rahmen der bundesgerichtlichen Überprüfungsbefugnis beurteilbar, gibt die MEDAS-Expertise zu Gesundheitszustand und Arbeitsfähigkeit im Zeitpunkt der Begutachtung umfassend und überzeugend Antwort, weshalb es mit der Vorinstanz als beweiswertig anzusehen ist. Formelle oder inhaltliche Mängel, welche Zweifel an der Verlässlichkeit der gutachterlichen Aussagen zu begründen vermöchten, liegen entgegen der Beschwerde nicht vor. Insbesondere bestehen keine die Vorbringen des Beschwerdeführers stützenden Anhaltspunkte dafür, dass bei der MEDAS-Begutachtung unsachlich oder in einer anderen, gegebenenfalls den Ausstand von MEDAS-Experten rechtfertigenden Weise vorgegangen wurde. Es kann auf die Erwägungen im angefochtenen Entscheid verwiesen werden.
Der nachträglich aufgelegte Arztbericht vermöchte an diesem Ergebnis nichts zu ändern, weshalb die Frage seiner prozessualen Zulässigkeit offen bleiben kann.
5.4 Eine andere Frage ist, ob die Gesundheitsstörung bereits bei der Einreise in die Schweiz in anspruchsrelevanter Weise bestanden hat. Die Vorinstanz bejaht dies.
5.4.1 Vorab ist festzustellen, dass es generell und namentlich bei psychischen Störungen schwierig ist, rückwirkend und überdies für einen weit zurückliegenden Zeitraum die Arbeitsfähigkeit zuverlässig zu beurteilen (vgl. Urteil I 31/06 vom 20. Januar 2007, E. 3.2 mit Hinweisen; sodann Urteil 8C_615/2007 vom 14. April 2008, E. 2.2.1; SVR 2008 IV Nr. 11 S. 11, I 687/07, E. 5.1). Hinzukommt, dass in der MEDAS-Expertise vom 15. März 2007 nicht gesagt wird, der Gesundheitsschaden habe bereits bei der Einreise in die Schweiz in rentenbegründendem Weise bestanden. Einzig der RAD-Arzt äusserte sich am 19. März 2007 dahingehend, der Versicherte sei mit an Sicherheit grenzender Wahrscheinlichkeit mit diesem Gesundheitsschaden in dieser Ausprägung in die Schweiz eingereist. Diese Interpretation der MEDAS-Expertise geht indessen über die gutachterlichen Feststellungen hinaus. Sie wird vom RAD-Arzt auch nicht weiter begründet. Den übrigen medizinischen Akten lässt sich Entsprechendes ebenfalls nicht zuverlässig entnehmen.
5.4.2 Der Beschwerdeführer macht sodann geltend, er sei nach der Einreise in die Schweiz erwerbstätig gewesen. Aktenkundig ist, dass er in der Schweiz durch die Arbeitslosenversicherung vom 1. Oktober 2001 bis 30. September 2003 als voll vermittlungsfähig betrachtet wurde. Dies lässt eine rentenbegründende Invalidität im damaligen Zeitpunkt eher fraglich erscheinen. Ansonsten hätte die Arbeitslosenkasse mutmasslich eine Anmeldung bei der Invalidenversicherung veranlasst (Urteil 8C_615/2007 vom 14. April 2008, E. 2.2). Für die Zeit davor liegt zudem ein Arbeitszeugnis des HEKS vom 28. September 2001 auf. Darin wird bestätigt, dass der Versicherte vom 1. April bis 30. September 2001 in einem Programm zur Arbeitsintegration tätig gewesen sei. Dabei habe er Aufgaben in Forst und Naturschutz sowie einzelne Aufträge, wie Umzüge, zur vollen Zufriedenheit der Auftraggeber ausgeübt.
5.4.3 Aufgrund der dargelegten Gesichtspunkte hätte Anlass bestanden, weiter abzuklären, ob der Beschwerdeführer tatsächlich schon rentenbegründend invalid in die Schweiz eingereist ist. Der vorinstanzliche Entscheid beruht demnach auf einer unvollständigen Sachverhaltsfeststellung. Dies stellt eine vom Bundesgericht zu korrigierende Rechtsverletzung im Sinne von Art. 95 (lit. a) BGG dar (Seiler/von Werdt/Güngerich, Kommentar zum Bundesgerichtsgesetz, Bern 2007, N 24 zu Art. 97; Markus Schott, Basler Kommentar zum Bundesgerichtsgesetz [BGG], Basel 2008, N 6 und 19 zu Art. 97). An weiteren Beweismassnahmen bietet sich nebst Ergänzungsfragen an die psychiatrischen Gutachter der Beizug der Verwaltungsakten über das Verfahren betreffend Asyl resp. vorläufige Aufnahme an. Gegebenenfalls sind auch Zeugenbefragungen durchzuführen. Die Sache wird hiefür an die Vorinstanz zurückgewiesen.
6. Die Gerichtskosten sind von der unterliegenden IV-Stelle zu tragen (<ref-law>). Damit ist das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege im Sinne der Befreiung von Gerichtskosten als hinfällig zu betrachten.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid der AHV/IV-Rekurskommision des Kantons Thurgau vom 6. November 2007 aufgehoben und die Sache an die Vorinstanz zurückgewiesen wird, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über die Beschwerde neu entscheide.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. Mai 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
i.V. Leuzinger Lanz