Sachverhalt:
Sachverhalt:
A. Der aus dem Kosovo stammende, 1945 geborene P._ arbeitete seit 1981 als Bauarbeiter bei der Firma S._ AG. Das Anstellungsverhältnis wurde von der Arbeitgeberin per 31. Mai 2000 aufgelöst, da P._ aus gesundheitlichen Gründen nicht weiter auf einer Baustelle arbeiten konnte. Er meldete sich am 19. Oktober 2001 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Schwyz holte in Abklärung der medizinischen und erwerblichen Entscheidungsgrundlagen unter anderem Arztberichte ein und liess den Versicherten bei der MEDAS polydisziplinär begutachten. Zusammenfassend stellten die Ärzte im Gutachten vom 11. Oktober 2002 die Diagnosen eines chronischen Lumbovertebral-Syndroms mit intermittierender spondylogener Symptomatik rechts und einer Anpassungsstörung mit vorwiegender Beeinträchtigung verschiedenster Gefühle. In seiner angestammten Tätigkeit als Bauhandlanger erachteten sie seine Arbeitsfähigkeit wegen der rheumatologischen mehr als den psychopathologischen Befunden auf weniger als 20%. Bei einer anderen körperlich leichten Tätigkeit schätzten sie die Arbeitsfähigkeit auf 50% der Norm, wobei die psychopathologischen Befunde limitierend seien. Da der medizinische Dienst der IV-Stelle das psychiatrische Teilgutachten als widersprüchlich und nicht nachvollziehbar erachtete, liess diese P._ noch vom Institut X._ abklären. Chefarzt Dr. med. W._ kam im Gutachten vom 16. Januar 2003 zur selben Diagnose wie der Spezialist im MEDAS-Gutachten, erachtete jedoch die Arbeitsfähigkeit durch ein leicht verlangsamtes Arbeitstempo und etwas vermehrte Pausen lediglich als im Rahmen von 10 bis 20% eingeschränkt. Mit Verfügung vom 6. Februar 2003 teilte die IV-Stelle dem Versicherten mit, dass er bei einem zumutbaren Erwerbseinkommen von Fr. 39'169.- und einem Invaliditätsgrad von 35,76% keinen Anspruch auf eine Rente habe. Sie hielt im Einspracheentscheid vom 11. Juni 2003 an dieser Beurteilung fest.
A. Der aus dem Kosovo stammende, 1945 geborene P._ arbeitete seit 1981 als Bauarbeiter bei der Firma S._ AG. Das Anstellungsverhältnis wurde von der Arbeitgeberin per 31. Mai 2000 aufgelöst, da P._ aus gesundheitlichen Gründen nicht weiter auf einer Baustelle arbeiten konnte. Er meldete sich am 19. Oktober 2001 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Schwyz holte in Abklärung der medizinischen und erwerblichen Entscheidungsgrundlagen unter anderem Arztberichte ein und liess den Versicherten bei der MEDAS polydisziplinär begutachten. Zusammenfassend stellten die Ärzte im Gutachten vom 11. Oktober 2002 die Diagnosen eines chronischen Lumbovertebral-Syndroms mit intermittierender spondylogener Symptomatik rechts und einer Anpassungsstörung mit vorwiegender Beeinträchtigung verschiedenster Gefühle. In seiner angestammten Tätigkeit als Bauhandlanger erachteten sie seine Arbeitsfähigkeit wegen der rheumatologischen mehr als den psychopathologischen Befunden auf weniger als 20%. Bei einer anderen körperlich leichten Tätigkeit schätzten sie die Arbeitsfähigkeit auf 50% der Norm, wobei die psychopathologischen Befunde limitierend seien. Da der medizinische Dienst der IV-Stelle das psychiatrische Teilgutachten als widersprüchlich und nicht nachvollziehbar erachtete, liess diese P._ noch vom Institut X._ abklären. Chefarzt Dr. med. W._ kam im Gutachten vom 16. Januar 2003 zur selben Diagnose wie der Spezialist im MEDAS-Gutachten, erachtete jedoch die Arbeitsfähigkeit durch ein leicht verlangsamtes Arbeitstempo und etwas vermehrte Pausen lediglich als im Rahmen von 10 bis 20% eingeschränkt. Mit Verfügung vom 6. Februar 2003 teilte die IV-Stelle dem Versicherten mit, dass er bei einem zumutbaren Erwerbseinkommen von Fr. 39'169.- und einem Invaliditätsgrad von 35,76% keinen Anspruch auf eine Rente habe. Sie hielt im Einspracheentscheid vom 11. Juni 2003 an dieser Beurteilung fest.
B. Das Verwaltungsgericht des Kantons Schwyz wies die gegen den Einspracheentscheid erhobene Beschwerde ab (Entscheid vom 21. Oktober 2003).
B. Das Verwaltungsgericht des Kantons Schwyz wies die gegen den Einspracheentscheid erhobene Beschwerde ab (Entscheid vom 21. Oktober 2003).
C. P._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, in Aufhebung des Entscheides vom 21. Oktober 2003 sei ihm ab Gesuchstellung mindestens eine halbe Invalidenrente beziehungsweise eine Invalidenrente nach Ermessen des Gerichts zuzusprechen.
Das Verwaltungsgericht des Kantons Schwyz schliesst auf Abweisung, während sich die IV-Stelle und das Bundesamt für Sozialversicherung nicht vernehmen lassen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. 1.1 Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 in Kraft getreten, mit dem zahlreiche Bestimmungen im IV-Bereich geändert worden sind. In zeitlicher Hinsicht sind grundsätzlich diejenigen Rechtssätze massgebend, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (<ref-ruling> Erw. 1), und das Sozialversicherungsgericht stellt bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses des streitigen Einspracheentscheids (hier: 11. Juni 2003) eingetretenen Sachverhalt ab (<ref-ruling>).
1.2 Vorliegend kann offen bleiben, ob auf Grund von <ref-law> in Verbindung mit <ref-law> die ATSG-Normen zur Arbeitsunfähigkeit (Art. 6), Erwerbsunfähigkeit (Art. 7), Invalidität (Art. 8) und zur Bestimmung des Invaliditätsgrades (Art. 16) zu berücksichtigen sind. Dies weil gemäss dem zur Publikation in der Amtlichen Sammlung vorgesehenen Urteil A. vom 30. April 2004, I 626/03, das Gericht erkannt hat, dass es sich bei den in Art. 3-13 ATSG enthaltenen Legaldefinitionen in aller Regel um eine formellgesetzliche Fassung der höchstrichterlichen Rechtsprechung zu den entsprechenden vor In-Kraft-Treten des ATSG geltenden Begriffen handelt und sich damit inhaltlich keine Änderung ergibt, was zur Folge hat, dass die hiezu entwickelte Rechtsprechung übernommen und weitergeführt werden kann (vgl. erwähntes Urteil vom 30. April 2004, Erwägungen 3.1.2, 3.2.1, 3.3.1 und 3.3.2). Auch die Normierung von <ref-law> führt nicht zu einer Modifizierung der bisherigen Rechtsprechung zur Invaliditätsbemessung bei Erwerbstätigen, welche weiterhin nach der allgemeinen Methode des Einkommensvergleichs vorzunehmen ist (erwähntes Urteil vom 30. April 2004, Erwägung 3.4.2, <ref-ruling> Erw. 1, 104 V 136 Erw. 2a und b).
1.3 Die Vorinstanz hat ferner die relevanten Bestimmungen und die Rechtspraxis zu den Voraussetzungen und zum Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG, in der bis 31. Dezember 2003 in Kraft gestandenen Fassung) und zum Beweiswert sowie zur Beweiswürdigung ärztlicher Berichte und Gutachten (<ref-ruling> ff., vgl. ferner <ref-ruling> Erw. 4, 122 V 160 Erw. 1c und AHI 2002 S. 70 Erw. 4b/cc) richtig wiedergegeben.
1.3 Die Vorinstanz hat ferner die relevanten Bestimmungen und die Rechtspraxis zu den Voraussetzungen und zum Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG, in der bis 31. Dezember 2003 in Kraft gestandenen Fassung) und zum Beweiswert sowie zur Beweiswürdigung ärztlicher Berichte und Gutachten (<ref-ruling> ff., vgl. ferner <ref-ruling> Erw. 4, 122 V 160 Erw. 1c und AHI 2002 S. 70 Erw. 4b/cc) richtig wiedergegeben.
2. 2.1 Streitig und zu beurteilen ist vorliegend in erster Linie, ob Verwaltung und Vorinstanz zu Recht von einer zumutbaren Arbeitsfähigkeit an einem leichten, angepassten Arbeitsplatz von mindestens 80% eines Vollpensums ausgegangen sind. Beide stützen sich dabei auf das Gutachten von Dr. med. W._ vom 16. Januar 2003, währenddem die Gutachter der MEDAS ihren Ausführungen eine zumutbare Arbeitsfähigkeit von 50% zugrunde legten. Die Parteien sind sich insbesondere darüber uneinig, ob das kantonale Gericht die medizinischen Gutachten in beweisrechtlicher Hinsicht richtig gewürdigt und zu Recht auf dasjenige von Dr. med. W._ vom 16. Januar 2003 abgestellt hat.
2.2 Die beiden Gutachten (Dr. med. B._, Spezialarzt FMH für Psychiatrie, MEDAS-Teilgutachten vom 13. August 2002 und Dr. med. W._, Chefarzt des Instituts X._, vom 16. Januar 2003) unterscheiden sich einzig in der Einschätzung der Arbeitsfähigkeit. In Bezug auf die Diagnose sind sich die Ärzte einig.
2.3 Das kantonale Gericht hat eingehend dargelegt, warum es aufgrund der medizinischen Akten zur Erkenntnis gelangt ist, dass der Beschwerdeführer in einer angepassten leichten Arbeitsstelle höchstens 20% in seiner Leistungsfähigkeit eingeschränkt ist. Dem ist zu folgen. Dies insbesondere auch aufgrund der Tatsache, dass der Beschwerdeführer nach der krankheitsbedingten Entlassung aus seinem langjährigen Arbeitsverhältnis mit der Firma S._ AG während einer Sommer-Saison (vom 1. Juni bis 31. Oktober 2000) im Hotel A._ als Hausmeister tätig war. Während der beschränkten Dauer von fünf Monaten arbeitete der Beschwerdeführer dort während den betriebsüblichen 42 Stunden pro Woche. Es gibt keine Anhaltspunkte dafür, dass er wegen psychischer Beschwerden die dort geforderten Aufgaben nicht hätte verrichten können. Im Gegenteil wird im MEDAS-Teilgutachten von Dr. med. J._, Spezialarzt für Physikalische Medizin und Rehabilitation, vom 30. August 2002 beschrieben, dass er diese Arbeit mit wenig gesundheitlichen Beschwerden habe ausüben können und sie ihm gut gefallen habe. Aus den Anamnesen in den medizinischen Gutachten ergibt sich, dass die psychischen Beschwerden damals schon bestanden haben. Sie zeigten sich zuerst anlässlich eines Besuches des Beschwerdeführers im Kosovo im Jahre 1999. Er musste dort erfahren, dass sein Lebensplan, im Alter zurückzukehren und in der Heimat in einem eigenen Haus zu leben, gescheitert war, nachdem dieses in den Kriegswirren zerstört wurde. Im Zeitpunkt der Begutachtung durch die MEDAS, im August 2002, war er zudem ganztags in einem Beschäftigungsprogramm der Arbeitslosenversicherung engagiert. Aufgrund der Akten bestand auch bei dieser Tätigkeit keine zeitliche Einschränkung. Zusammenfassend ist davon auszugehen, dass es dem Beschwerdeführer möglich und zumutbar ist, in einer leichten, rückenschonenden Arbeit ein Pensum von mindestens 80% zu verrichten, wobei einsichtig ist, dass die Limitierung in einem verlangsamten Arbeitstempo und vermehrten Pausen besteht.
2.3 Das kantonale Gericht hat eingehend dargelegt, warum es aufgrund der medizinischen Akten zur Erkenntnis gelangt ist, dass der Beschwerdeführer in einer angepassten leichten Arbeitsstelle höchstens 20% in seiner Leistungsfähigkeit eingeschränkt ist. Dem ist zu folgen. Dies insbesondere auch aufgrund der Tatsache, dass der Beschwerdeführer nach der krankheitsbedingten Entlassung aus seinem langjährigen Arbeitsverhältnis mit der Firma S._ AG während einer Sommer-Saison (vom 1. Juni bis 31. Oktober 2000) im Hotel A._ als Hausmeister tätig war. Während der beschränkten Dauer von fünf Monaten arbeitete der Beschwerdeführer dort während den betriebsüblichen 42 Stunden pro Woche. Es gibt keine Anhaltspunkte dafür, dass er wegen psychischer Beschwerden die dort geforderten Aufgaben nicht hätte verrichten können. Im Gegenteil wird im MEDAS-Teilgutachten von Dr. med. J._, Spezialarzt für Physikalische Medizin und Rehabilitation, vom 30. August 2002 beschrieben, dass er diese Arbeit mit wenig gesundheitlichen Beschwerden habe ausüben können und sie ihm gut gefallen habe. Aus den Anamnesen in den medizinischen Gutachten ergibt sich, dass die psychischen Beschwerden damals schon bestanden haben. Sie zeigten sich zuerst anlässlich eines Besuches des Beschwerdeführers im Kosovo im Jahre 1999. Er musste dort erfahren, dass sein Lebensplan, im Alter zurückzukehren und in der Heimat in einem eigenen Haus zu leben, gescheitert war, nachdem dieses in den Kriegswirren zerstört wurde. Im Zeitpunkt der Begutachtung durch die MEDAS, im August 2002, war er zudem ganztags in einem Beschäftigungsprogramm der Arbeitslosenversicherung engagiert. Aufgrund der Akten bestand auch bei dieser Tätigkeit keine zeitliche Einschränkung. Zusammenfassend ist davon auszugehen, dass es dem Beschwerdeführer möglich und zumutbar ist, in einer leichten, rückenschonenden Arbeit ein Pensum von mindestens 80% zu verrichten, wobei einsichtig ist, dass die Limitierung in einem verlangsamten Arbeitstempo und vermehrten Pausen besteht.
3. 3.1 Zu prüfen bleibt demnach, was der Beschwerdeführer im beschriebenen Rahmen zumutbarerweise noch zu verdienen vermag. Unbestritten ist, dass das Valideneinkommen für das Jahr 2002 gemäss Auskunft der ehemaligen Arbeitgeberin Fr. 60'970.- beträgt.
3.2 Die IV-Stelle hat in der Verfügung vom 6. Februar 2003 dargelegt, dass gemäss den Lohnstrukturerhebungen des Bundesamtes für Statistik (LSE) ein un- beziehungsweise angelernter Arbeitnehmer im Jahr 2002 in der Schweiz durchschnittlich Fr. 57'602.- verdiente. Davon ist praxisgemäss (<ref-ruling> ff.) ein Abzug vorzunehmen, soweit konkret anzunehmen ist, dass der Versicherte diesen Durchschnittswert nicht zu erreichen vermag. Vorliegend fallen die behinderungsbedingte Einschränkung auf eine leichte Tätigkeit und die Notwendigkeit, vermehrte Pausen einzulegen und nach einem eigenen Tempo zu arbeiten, ins Gewicht (vgl. <ref-ruling> Erw. 5b/bb), wobei letzteres bereits mit der Anerkennung einer auf 80% reduzierten Arbeitsfähigkeit anerkannt wurde. Daraus zeigt sich, dass ein Abzug von 15%, wovon die IV-Stelle in ihrer Verfügung ausgegangen ist, den gesamten Umständen entspricht. Es besteht vorliegend kein triftiger Grund, in das diesbezügliche Ermessen von Verwaltung und Vorinstanz einzugreifen (<ref-ruling>). Der zutreffend ermittelte Einkommensvergleich ergibt damit einen rentenausschliessenden Invaliditätsgrad, sodass die Verwaltungsgerichtsbeschwerde abzuweisen ist.
3.2 Die IV-Stelle hat in der Verfügung vom 6. Februar 2003 dargelegt, dass gemäss den Lohnstrukturerhebungen des Bundesamtes für Statistik (LSE) ein un- beziehungsweise angelernter Arbeitnehmer im Jahr 2002 in der Schweiz durchschnittlich Fr. 57'602.- verdiente. Davon ist praxisgemäss (<ref-ruling> ff.) ein Abzug vorzunehmen, soweit konkret anzunehmen ist, dass der Versicherte diesen Durchschnittswert nicht zu erreichen vermag. Vorliegend fallen die behinderungsbedingte Einschränkung auf eine leichte Tätigkeit und die Notwendigkeit, vermehrte Pausen einzulegen und nach einem eigenen Tempo zu arbeiten, ins Gewicht (vgl. <ref-ruling> Erw. 5b/bb), wobei letzteres bereits mit der Anerkennung einer auf 80% reduzierten Arbeitsfähigkeit anerkannt wurde. Daraus zeigt sich, dass ein Abzug von 15%, wovon die IV-Stelle in ihrer Verfügung ausgegangen ist, den gesamten Umständen entspricht. Es besteht vorliegend kein triftiger Grund, in das diesbezügliche Ermessen von Verwaltung und Vorinstanz einzugreifen (<ref-ruling>). Der zutreffend ermittelte Einkommensvergleich ergibt damit einen rentenausschliessenden Invaliditätsgrad, sodass die Verwaltungsgerichtsbeschwerde abzuweisen ist.
4. Dem Begehren um unentgeltliche Verbeiständung (Art. 152 Abs. 2 OG) kann entsprochen werden, weil die Bedürftigkeit auf Grund der eingereichten Unterlagen ausgewiesen ist, die Beschwerde zwar als unbegründet, aber nicht geradezu als aussichtslos zu bezeichnen ist und die Vertretung wenn nicht notwendig, so doch geboten war (<ref-ruling> Erw. 6). Es wird indessen ausdrücklich auf Art. 152 Abs. 3 OG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu im Stande ist.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Zufolge Gewährung der unentgeltlichen Verbeiständung wird Rechtsanwältin Annagreth Fässler-Zehnder für das Verfahren vor dem Eidgenössischen Versicherungsgericht aus der Gerichtskasse eine Entschädigung (Honorar und Auslagenersatz) von Fr. 2'500.- (einschliesslich Mehrwertsteuer) ausgerichtet.
3. Zufolge Gewährung der unentgeltlichen Verbeiständung wird Rechtsanwältin Annagreth Fässler-Zehnder für das Verfahren vor dem Eidgenössischen Versicherungsgericht aus der Gerichtskasse eine Entschädigung (Honorar und Auslagenersatz) von Fr. 2'500.- (einschliesslich Mehrwertsteuer) ausgerichtet.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 26. Mai 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Die Gerichtsschreiberin:
i.V.