Sachverhalt: Sachverhalt: A. Der 1961 geborene M._ reiste laut seiner Niederlassungsbewilligung am 29. Oktober 1992 im Rahmen einer humanitären Aktion der Schweiz, in welcher rund 200 vom Bosnienkrieg von 1990/1991 betroffene Personen, darunter Bosnier in serbischer Kriegsgefangenschaft, aufgenommen wurden, in die Schweiz ein. Am 10. Dezember 2001 meldete er sich bei der Invalidenversicherung zum Rentenbezug an. Nach Einholung eines Auszuges aus dem individuellen Konto und Abklärung der medizinischen Verhältnisse ordnete die IV-Stelle Schwyz einen zweiwöchigen Aufenthalt in der beruflichen Abklärungsstelle (BEFAS) zwecks Prüfung der Eingliederungs- und Arbeitsfähigkeit an. Diese erstattete am 7. Januar 2003 Bericht, worauf die IV-Stelle ein Arbeitstraining in der Stiftung Behindertenbetriebe X._ veranlasste, welches nach zahlreichen Absenzen und wiederholten unentschuldigten Arbeitsunterbrüchen wegen der gezeigten Einstellung und mangelnder Motivation auf den 6. Februar 2004 hin abgebrochen wurde. Mit Verfügung vom 8. Juli 2004 lehnte die IV-Stelle das Rentenbegehren mit der Begründung ab, das psychische Leiden habe schon vor der Einreise in die Schweiz bestanden, weshalb die versicherungsmässigen Voraussetzungen für eine Leistungszusprache fehlten. Dies bestätigte sie auf Einsprache hin mit Entscheid vom 16. November 2005. A. Der 1961 geborene M._ reiste laut seiner Niederlassungsbewilligung am 29. Oktober 1992 im Rahmen einer humanitären Aktion der Schweiz, in welcher rund 200 vom Bosnienkrieg von 1990/1991 betroffene Personen, darunter Bosnier in serbischer Kriegsgefangenschaft, aufgenommen wurden, in die Schweiz ein. Am 10. Dezember 2001 meldete er sich bei der Invalidenversicherung zum Rentenbezug an. Nach Einholung eines Auszuges aus dem individuellen Konto und Abklärung der medizinischen Verhältnisse ordnete die IV-Stelle Schwyz einen zweiwöchigen Aufenthalt in der beruflichen Abklärungsstelle (BEFAS) zwecks Prüfung der Eingliederungs- und Arbeitsfähigkeit an. Diese erstattete am 7. Januar 2003 Bericht, worauf die IV-Stelle ein Arbeitstraining in der Stiftung Behindertenbetriebe X._ veranlasste, welches nach zahlreichen Absenzen und wiederholten unentschuldigten Arbeitsunterbrüchen wegen der gezeigten Einstellung und mangelnder Motivation auf den 6. Februar 2004 hin abgebrochen wurde. Mit Verfügung vom 8. Juli 2004 lehnte die IV-Stelle das Rentenbegehren mit der Begründung ab, das psychische Leiden habe schon vor der Einreise in die Schweiz bestanden, weshalb die versicherungsmässigen Voraussetzungen für eine Leistungszusprache fehlten. Dies bestätigte sie auf Einsprache hin mit Entscheid vom 16. November 2005. B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 15. März 2006 ab. B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 15. März 2006 ab. C. Mit Verwaltungsgerichtsbeschwerde lässt M._ sein Rentenbegehren erneuern. Zudem ersucht er um unentgeltliche Verbeiständung. Die IV-Stelle enthält sich einer materiellen Stellungnahme. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.