Sachverhalt:
Sachverhalt:
A. Der 1961 geborene M._ reiste laut seiner Niederlassungsbewilligung am 29. Oktober 1992 im Rahmen einer humanitären Aktion der Schweiz, in welcher rund 200 vom Bosnienkrieg von 1990/1991 betroffene Personen, darunter Bosnier in serbischer Kriegsgefangenschaft, aufgenommen wurden, in die Schweiz ein. Am 10. Dezember 2001 meldete er sich bei der Invalidenversicherung zum Rentenbezug an. Nach Einholung eines Auszuges aus dem individuellen Konto und Abklärung der medizinischen Verhältnisse ordnete die IV-Stelle Schwyz einen zweiwöchigen Aufenthalt in der beruflichen Abklärungsstelle (BEFAS) zwecks Prüfung der Eingliederungs- und Arbeitsfähigkeit an. Diese erstattete am 7. Januar 2003 Bericht, worauf die IV-Stelle ein Arbeitstraining in der Stiftung Behindertenbetriebe X._ veranlasste, welches nach zahlreichen Absenzen und wiederholten unentschuldigten Arbeitsunterbrüchen wegen der gezeigten Einstellung und mangelnder Motivation auf den 6. Februar 2004 hin abgebrochen wurde. Mit Verfügung vom 8. Juli 2004 lehnte die IV-Stelle das Rentenbegehren mit der Begründung ab, das psychische Leiden habe schon vor der Einreise in die Schweiz bestanden, weshalb die versicherungsmässigen Voraussetzungen für eine Leistungszusprache fehlten. Dies bestätigte sie auf Einsprache hin mit Entscheid vom 16. November 2005.
A. Der 1961 geborene M._ reiste laut seiner Niederlassungsbewilligung am 29. Oktober 1992 im Rahmen einer humanitären Aktion der Schweiz, in welcher rund 200 vom Bosnienkrieg von 1990/1991 betroffene Personen, darunter Bosnier in serbischer Kriegsgefangenschaft, aufgenommen wurden, in die Schweiz ein. Am 10. Dezember 2001 meldete er sich bei der Invalidenversicherung zum Rentenbezug an. Nach Einholung eines Auszuges aus dem individuellen Konto und Abklärung der medizinischen Verhältnisse ordnete die IV-Stelle Schwyz einen zweiwöchigen Aufenthalt in der beruflichen Abklärungsstelle (BEFAS) zwecks Prüfung der Eingliederungs- und Arbeitsfähigkeit an. Diese erstattete am 7. Januar 2003 Bericht, worauf die IV-Stelle ein Arbeitstraining in der Stiftung Behindertenbetriebe X._ veranlasste, welches nach zahlreichen Absenzen und wiederholten unentschuldigten Arbeitsunterbrüchen wegen der gezeigten Einstellung und mangelnder Motivation auf den 6. Februar 2004 hin abgebrochen wurde. Mit Verfügung vom 8. Juli 2004 lehnte die IV-Stelle das Rentenbegehren mit der Begründung ab, das psychische Leiden habe schon vor der Einreise in die Schweiz bestanden, weshalb die versicherungsmässigen Voraussetzungen für eine Leistungszusprache fehlten. Dies bestätigte sie auf Einsprache hin mit Entscheid vom 16. November 2005.
B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 15. März 2006 ab.
B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 15. März 2006 ab.
C. Mit Verwaltungsgerichtsbeschwerde lässt M._ sein Rentenbegehren erneuern. Zudem ersucht er um unentgeltliche Verbeiständung.
Die IV-Stelle enthält sich einer materiellen Stellungnahme. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Das Bundesgericht zieht in Erwägung:
1. Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
1. Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
2. 2.1 Der angefochtene Entscheid betrifft Leistungen der Invalidenversicherung. Nach Art. 132 Abs. 1 OG in der Fassung gemäss Ziff. III des Bundesgesetzes vom 16. Dezember 2005 über die Änderung des IVG (in Kraft seit 1. Juli 2006) kann das Gericht in Verfahren um die Bewilligung oder Verweigerung von Versicherungsleistungen in Abweichung von den Art. 104 und 105 OG auch die Unangemessenheit der angefochtenen Verfügung beurteilen und ist an die vorinstanzliche Feststellung des Sachverhalts nicht gebunden. Gemäss Art. 132 Abs. 2 OG gelten diese Abweichungen nicht, wenn der angefochtene Entscheid Leistungen der Invalidenversicherung betrifft. Nach Ziff. II lit. c des Bundesgesetzes vom 16. Dezember 2005 ist indessen auf die im Zeitpunkt des Inkrafttretens der Änderung beim Eidgenössischen Versicherungsgericht hängigen Beschwerden bisheriges Recht anwendbar. Da die hier zu beurteilende Beschwerde am 1. Juli 2006 beim Eidgenössischen Versicherungsgericht hängig war, richtet sich die Kognition noch nach der bis Ende Juni 2006 gültig gewesenen Fassung von Art. 132 OG, welche dem neuen Abs. 1 entspricht.
2.2 Bei der Prüfung eines schon vor dem Inkrafttreten des ATSG auf den 1. Januar 2003 entstandenen Anspruchs auf eine Rente der Invalidenversicherung sind die allgemeinen intertemporalrechtlichen Regeln heranzuziehen, gemäss welchen - auch bei einer Änderung der gesetzlichen Grundlagen - grundsätzlich diejenigen Rechtssätze massgebend sind, die bei Verwirklichung des zu Rechtsfolgen führenden Sachverhalts galten. Nachdem die Anmeldung des Beschwerdeführers bei der Invalidenversicherung am 10. Dezember 2001 erfolgte, ist demnach ein allfälliger Rentenanspruch für die Zeit bis zum 31. Dezember 2002 auf Grund der bisherigen und ab diesem Zeitpunkt nach den neuen Normen zu prüfen (<ref-ruling> E. 1.2.1 S. 446 f. mit Hinweisen; vgl. auch <ref-ruling> E. 2.3 S. 333). Das kantonale Gericht hat richtig erkannt, dass dies indessen nicht mit materiellrechtlichen Auswirkungen verbunden ist, weil das ATSG hinsichtlich des invalidenversicherungsrechtlichen Rentenanspruches keine substanziellen Änderungen gegenüber der bis 31. Dezember 2002 bestehenden Rechtslage enthält.
2.3 Wie das kantonale Gericht des Weitern unter Hinweis auf den angefochtenen Einspracheentscheid vom 16. November 2005 zutreffend dargelegt hat, sind in der Invalidenversicherung natürliche Personen mit Wohnsitz in der Schweiz sowie natürliche Personen, die in der Schweiz eine Erwerbstätigkeit ausüben, obligatorisch versichert (<ref-law> [in der ab 1. Januar bis 31. Dezember 2003 gültig gewesenen Fassung; bis 31. Dezember 2002: <ref-law>; seit 1. Januar 2004: <ref-law>] in Verbindung mit Art. 1a Abs. 1 lit. a und b sowie Abs. 2 AHVG). Richtig ist ferner, dass gemäss Art. 2 des auch für die Nachfolgestaaten des früheren Jugoslawien geltenden (<ref-ruling> E. 2b S. 203, 119 V 98 E. 3 S. 101) Abkommens zwischen der schweizerischen Eidgenossenschaft und der Föderativen Volksrepublik Jugoslawien über Sozialversicherung vom 8. Juni 1962 schweizerische und jugoslawische Staatsangehörige, soweit - was für die hier interessierenden Belange zutrifft - im Abkommen selbst und in seinem Schlussprotokoll nichts Abweichendes bestimmt ist, einander in den Rechten und Pflichten unter anderem aus der Bundesgesetzgebung über die Invalidenversicherung gleichgestellt sind. <ref-law> nennt als Voraussetzung für den Anspruch auf ordentliche Renten, dass die rentenberechtigten Versicherten bei Eintritt der Invalidität während mindestens eines vollen Jahres Beiträge geleistet haben. Hinsichtlich des Invaliditätsbegriffs (<ref-law> in Verbindung mit <ref-law>), des Zeitpunkts des für eine Rentengewährung massgebenden Invaliditätseintritts (<ref-law>), der im Sozialversicherungsrecht geltenden freien Beweiswürdigung (<ref-law>; <ref-ruling> E. 3a S. 352, 122 V 157 E. 1c S. 160 f. mit Hinweisen), des Untersuchungsgrundsatzes (<ref-law>) und des in der Regel erforderlichen Beweisgrades der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 2c S. 150, 121 V 45 E. 2a S. 47) kann im Übrigen erneut auf die vorinstanzlichen Ausführungen verwiesen werden.
2.3 Wie das kantonale Gericht des Weitern unter Hinweis auf den angefochtenen Einspracheentscheid vom 16. November 2005 zutreffend dargelegt hat, sind in der Invalidenversicherung natürliche Personen mit Wohnsitz in der Schweiz sowie natürliche Personen, die in der Schweiz eine Erwerbstätigkeit ausüben, obligatorisch versichert (<ref-law> [in der ab 1. Januar bis 31. Dezember 2003 gültig gewesenen Fassung; bis 31. Dezember 2002: <ref-law>; seit 1. Januar 2004: <ref-law>] in Verbindung mit Art. 1a Abs. 1 lit. a und b sowie Abs. 2 AHVG). Richtig ist ferner, dass gemäss Art. 2 des auch für die Nachfolgestaaten des früheren Jugoslawien geltenden (<ref-ruling> E. 2b S. 203, 119 V 98 E. 3 S. 101) Abkommens zwischen der schweizerischen Eidgenossenschaft und der Föderativen Volksrepublik Jugoslawien über Sozialversicherung vom 8. Juni 1962 schweizerische und jugoslawische Staatsangehörige, soweit - was für die hier interessierenden Belange zutrifft - im Abkommen selbst und in seinem Schlussprotokoll nichts Abweichendes bestimmt ist, einander in den Rechten und Pflichten unter anderem aus der Bundesgesetzgebung über die Invalidenversicherung gleichgestellt sind. <ref-law> nennt als Voraussetzung für den Anspruch auf ordentliche Renten, dass die rentenberechtigten Versicherten bei Eintritt der Invalidität während mindestens eines vollen Jahres Beiträge geleistet haben. Hinsichtlich des Invaliditätsbegriffs (<ref-law> in Verbindung mit <ref-law>), des Zeitpunkts des für eine Rentengewährung massgebenden Invaliditätseintritts (<ref-law>), der im Sozialversicherungsrecht geltenden freien Beweiswürdigung (<ref-law>; <ref-ruling> E. 3a S. 352, 122 V 157 E. 1c S. 160 f. mit Hinweisen), des Untersuchungsgrundsatzes (<ref-law>) und des in der Regel erforderlichen Beweisgrades der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 2c S. 150, 121 V 45 E. 2a S. 47) kann im Übrigen erneut auf die vorinstanzlichen Ausführungen verwiesen werden.
3. Vorinstanz und Verwaltung nahmen auf Grund der medizinischen Aktenlage an, die ärztlich diagnostizierte posttraumatische Belastungsstörung sei schon vor der Einreise in die Schweiz aufgetreten; da dieses die Arbeitsfähigkeit einzig beeinträchtigende psychische Leiden schon bestanden habe, als der Beschwerdeführer in die Schweiz einreiste, seien die versicherungsmässigen Voraussetzungen für eine Leistungsgewährung nicht erfüllt. Der Beschwerdeführer stellt sich demgegenüber auf den Standpunkt, der invalidisierende psychische Gesundheitsschaden sei erst in Erscheinung getreten, als er schon einige Zeit in der Schweiz lebte.
3.1 Vorinstanz und Verwaltung gingen vom Bericht des Sozialpsychiatrischen Dienstes Y._ vom 18. Januar 2002 aus, in welchem eine posttraumatische Belastungsstörung (ICD-10:F43.1) mit Verdacht auf eine somatoforme Schmerzstörung (ICD-10:F45.4) diagnostiziert worden war. Wie Dr. med. G._ vom Regionalen ärztlichen Dienst (RAD) am 14. November 2005 darlegte, treten die Symptome einer posttraumatischen Belastungsstörung gemäss ICD-10:F43.1 Wochen bis Monate, ganz selten aber erst später als sechs Monate nach dem Trauma auf. Gestützt auf diese Ausführungen und auf Grund des Umstandes, dass als auslösendes traumatisierendes Ereignis praktisch nur ein in die Jahre 1990/1991 fallender mehrmonatiger Aufenthalt in einem serbischen Gefangenenlager in Betracht fiel, zog die Vorinstanz wie zuvor schon die Verwaltung den Schluss, dass das Auftreten der posttraumatischen Belastungsstörung - nachdem mit einer Latenzzeit von höchstens sechs Monaten zu rechnen ist - mit überwiegender Wahrscheinlichkeit noch vor der Einreise in die Schweiz erfolgt sein muss und auch der Invaliditätseintritt auf einen Zeitpunkt fällt, in welchem sich der Beschwerdeführer noch gar nicht in der Schweiz befand. Dass sich die posttraumatische Belastungsstörung erst im Jahre 2001 manifestiert hätte, erachtete Dr. med. G._ als nicht glaubhaft, weil dazu zuvor ein zweites traumatisierendes Ereignis erforderlich gewesen wäre. Ebenso verwarf er die Möglichkeit, dass der Beschwerdeführer trotz vorhandener posttraumatischer Belastungsstörung bis in die Jahre 2000/2001 arbeitsfähig gewesen sein könnte. Damit verblieb nach Ansicht von Vorinstanz und Verwaltung nur noch die Variante, dass das Leiden schon vor der Einreise in die Schweiz am 29. Oktober 1992 bestand. Unter der Voraussetzung, dass die Inhaftierung des Bescherdeführers bis spätestens Ende 1991 dauerte, könnte dieser Betrachtungsweise im Ergebnis insoweit beigepflichtet werden, als im Zeitpunkt des Invaliditätseintrittes - welchem während eines Jahres eine mindestens 40%ige Arbeitsunfähigkeit vorauszugehen hat (<ref-law>) - nicht während eines vollen Jahres Beiträge an die Eidgenössische Invalidenversicherung entrichtet wurden, womit die in <ref-law> genannte Anspruchsvoraussetzung nicht erfüllt ist.
3.2 Im vorliegenden Verfahren legt der Beschwerdeführer nun aber als neues Beweismittel ein Dokument des Internationalen Komitees des Roten Kreuzes (IKRK) vom 19. April 2006 auf, aus welchem hervorgeht, dass er am 27. Mai 1992 inhaftiert, am 27. August sowie am 24. und 27. September 1992 in der Haft besucht und am 1. Oktober 1992 aus der Haft entlassen wurde. Damit trifft die den Beurteilungen durch Vorinstanz und Verwaltung zu Grunde liegende Annahme, wonach die Kriegsgefangenschaft in die Jahre 1990/1991 fiel, nicht zu. Da kein Anlass besteht, die Glaubwürdigkeit der Angaben des IKRK in Frage zu stellen, und sich auch gegen die relativ späte Beibringung der Bestätigung vom 19. April 2006 nichts einwenden lässt, präsentiert sich die für die Beurteilung des geltend gemachten Rentenanspruchs massgebende Ausgangslage wesentlich anders als noch in den vorinstanzlichen Verfahren. Ist davon auszugehen, dass der Beschwerdeführer erst knapp einen Monat vor seiner Einreise in die Schweiz aus der Kriegsgefangenschaft entlassen wurde, der für die posttraumatische Belastungsstörung ursächliche Aufenthalt in einem Gefangenenlager mithin erheblich später als von Vorinstanz und Verwaltung angenommen ein Ende fand, verbleibt für die Möglichkeit, dass die psychische Reaktion auf die Inhaftierung noch vor der Einreise in die Schweiz zu Tage trat, kaum mehr Raum, müsste sie gegebenenfalls doch schon in der relativ kurzen Zeitspanne zwischen dem 1. und dem 29. Oktober 1992 aufgetreten sein. Mit Sicherheit kann gesagt werden, dass der Eintritt der Invalidität nach Ablauf eines Jahres mit mindestens 40%iger Arbeitsunfähigkeit (E. 3.1 hievor) erst nach der Einreise in die Schweiz erfolgte. Entgegen der vorinstanzlichen Argumentation, kann demnach der geltend gemachte Rentenanspruch nicht ohne weiteres mangels Erfüllung der versicherungsmässigen Voraussetzungen im Zeitpunkt des Invaliditätseintrittes verneint werden. Dies räumt das kantonale Gericht in seiner Vernehmlassung vom 2. Mai 2006 denn auch selbst ein. Die Verwaltung, an welche die Sache zurückzuweisen ist, wird die formellen und gegebenenfalls auch die materiellen Voraussetzungen für einen Rentenanspruch genauer zu prüfen haben und darüber erneut verfügungsweise befinden.
3.2 Im vorliegenden Verfahren legt der Beschwerdeführer nun aber als neues Beweismittel ein Dokument des Internationalen Komitees des Roten Kreuzes (IKRK) vom 19. April 2006 auf, aus welchem hervorgeht, dass er am 27. Mai 1992 inhaftiert, am 27. August sowie am 24. und 27. September 1992 in der Haft besucht und am 1. Oktober 1992 aus der Haft entlassen wurde. Damit trifft die den Beurteilungen durch Vorinstanz und Verwaltung zu Grunde liegende Annahme, wonach die Kriegsgefangenschaft in die Jahre 1990/1991 fiel, nicht zu. Da kein Anlass besteht, die Glaubwürdigkeit der Angaben des IKRK in Frage zu stellen, und sich auch gegen die relativ späte Beibringung der Bestätigung vom 19. April 2006 nichts einwenden lässt, präsentiert sich die für die Beurteilung des geltend gemachten Rentenanspruchs massgebende Ausgangslage wesentlich anders als noch in den vorinstanzlichen Verfahren. Ist davon auszugehen, dass der Beschwerdeführer erst knapp einen Monat vor seiner Einreise in die Schweiz aus der Kriegsgefangenschaft entlassen wurde, der für die posttraumatische Belastungsstörung ursächliche Aufenthalt in einem Gefangenenlager mithin erheblich später als von Vorinstanz und Verwaltung angenommen ein Ende fand, verbleibt für die Möglichkeit, dass die psychische Reaktion auf die Inhaftierung noch vor der Einreise in die Schweiz zu Tage trat, kaum mehr Raum, müsste sie gegebenenfalls doch schon in der relativ kurzen Zeitspanne zwischen dem 1. und dem 29. Oktober 1992 aufgetreten sein. Mit Sicherheit kann gesagt werden, dass der Eintritt der Invalidität nach Ablauf eines Jahres mit mindestens 40%iger Arbeitsunfähigkeit (E. 3.1 hievor) erst nach der Einreise in die Schweiz erfolgte. Entgegen der vorinstanzlichen Argumentation, kann demnach der geltend gemachte Rentenanspruch nicht ohne weiteres mangels Erfüllung der versicherungsmässigen Voraussetzungen im Zeitpunkt des Invaliditätseintrittes verneint werden. Dies räumt das kantonale Gericht in seiner Vernehmlassung vom 2. Mai 2006 denn auch selbst ein. Die Verwaltung, an welche die Sache zurückzuweisen ist, wird die formellen und gegebenenfalls auch die materiellen Voraussetzungen für einen Rentenanspruch genauer zu prüfen haben und darüber erneut verfügungsweise befinden.
4. Bei diesem Ausgang des Verfahrens steht dem anwaltlich vertretenen Beschwerdeführer eine zu Lasten der IV-Stelle gehende Parteientschädigung zu (Art. 159 Abs. 2 in Verbindung mit Art. 135 OG). Das Gesuch um Gewährung der unentgeltlichen Verbeiständung ist damit gegenstandslos. Weil es um die Bewilligung oder Verweigerung von Versicherungsleistungen ging, fallen keine Verfahrenskosten an (Art. 134 OG).

Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 15. März 2006 und die Verfügung der IV-Stelle Schwyz vom 16. November 2005 werden aufgehoben. Die Sache wird an die IV-Stelle Schwyz zurückgewiesen, damit diese, nach erfolgter Abklärung im Sinne der Erwägungen, über den Rentenanspruch neu verfüge.
1. Die Verwaltungsgerichtsbeschwerde wird gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 15. März 2006 und die Verfügung der IV-Stelle Schwyz vom 16. November 2005 werden aufgehoben. Die Sache wird an die IV-Stelle Schwyz zurückgewiesen, damit diese, nach erfolgter Abklärung im Sinne der Erwägungen, über den Rentenanspruch neu verfüge.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Die Beschwerdegegnerin hat dem Beschwerdeführer für das Verfahren vor Bundesgericht eine Parteientschädigung von Fr. 2500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
3. Die Beschwerdegegnerin hat dem Beschwerdeführer für das Verfahren vor Bundesgericht eine Parteientschädigung von Fr. 2500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Das Verwaltungsgericht des Kantons Schwyz wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
4. Das Verwaltungsgericht des Kantons Schwyz wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz, der Ausgleichskasse EXFOUR, Basel, und dem Bundesamt für Sozialversicherungen zugestellt.
Luzern, 8. Juni 2007
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber: