Sachverhalt: Sachverhalt: A. Der aus dem Kosovo stammende, 1945 geborene P._ arbeitete seit 1981 als Bauarbeiter bei der Firma S._ AG. Das Anstellungsverhältnis wurde von der Arbeitgeberin per 31. Mai 2000 aufgelöst, da P._ aus gesundheitlichen Gründen nicht weiter auf einer Baustelle arbeiten konnte. Er meldete sich am 19. Oktober 2001 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Schwyz holte in Abklärung der medizinischen und erwerblichen Entscheidungsgrundlagen unter anderem Arztberichte ein und liess den Versicherten bei der MEDAS polydisziplinär begutachten. Zusammenfassend stellten die Ärzte im Gutachten vom 11. Oktober 2002 die Diagnosen eines chronischen Lumbovertebral-Syndroms mit intermittierender spondylogener Symptomatik rechts und einer Anpassungsstörung mit vorwiegender Beeinträchtigung verschiedenster Gefühle. In seiner angestammten Tätigkeit als Bauhandlanger erachteten sie seine Arbeitsfähigkeit wegen der rheumatologischen mehr als den psychopathologischen Befunden auf weniger als 20%. Bei einer anderen körperlich leichten Tätigkeit schätzten sie die Arbeitsfähigkeit auf 50% der Norm, wobei die psychopathologischen Befunde limitierend seien. Da der medizinische Dienst der IV-Stelle das psychiatrische Teilgutachten als widersprüchlich und nicht nachvollziehbar erachtete, liess diese P._ noch vom Institut X._ abklären. Chefarzt Dr. med. W._ kam im Gutachten vom 16. Januar 2003 zur selben Diagnose wie der Spezialist im MEDAS-Gutachten, erachtete jedoch die Arbeitsfähigkeit durch ein leicht verlangsamtes Arbeitstempo und etwas vermehrte Pausen lediglich als im Rahmen von 10 bis 20% eingeschränkt. Mit Verfügung vom 6. Februar 2003 teilte die IV-Stelle dem Versicherten mit, dass er bei einem zumutbaren Erwerbseinkommen von Fr. 39'169.- und einem Invaliditätsgrad von 35,76% keinen Anspruch auf eine Rente habe. Sie hielt im Einspracheentscheid vom 11. Juni 2003 an dieser Beurteilung fest. A. Der aus dem Kosovo stammende, 1945 geborene P._ arbeitete seit 1981 als Bauarbeiter bei der Firma S._ AG. Das Anstellungsverhältnis wurde von der Arbeitgeberin per 31. Mai 2000 aufgelöst, da P._ aus gesundheitlichen Gründen nicht weiter auf einer Baustelle arbeiten konnte. Er meldete sich am 19. Oktober 2001 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Schwyz holte in Abklärung der medizinischen und erwerblichen Entscheidungsgrundlagen unter anderem Arztberichte ein und liess den Versicherten bei der MEDAS polydisziplinär begutachten. Zusammenfassend stellten die Ärzte im Gutachten vom 11. Oktober 2002 die Diagnosen eines chronischen Lumbovertebral-Syndroms mit intermittierender spondylogener Symptomatik rechts und einer Anpassungsstörung mit vorwiegender Beeinträchtigung verschiedenster Gefühle. In seiner angestammten Tätigkeit als Bauhandlanger erachteten sie seine Arbeitsfähigkeit wegen der rheumatologischen mehr als den psychopathologischen Befunden auf weniger als 20%. Bei einer anderen körperlich leichten Tätigkeit schätzten sie die Arbeitsfähigkeit auf 50% der Norm, wobei die psychopathologischen Befunde limitierend seien. Da der medizinische Dienst der IV-Stelle das psychiatrische Teilgutachten als widersprüchlich und nicht nachvollziehbar erachtete, liess diese P._ noch vom Institut X._ abklären. Chefarzt Dr. med. W._ kam im Gutachten vom 16. Januar 2003 zur selben Diagnose wie der Spezialist im MEDAS-Gutachten, erachtete jedoch die Arbeitsfähigkeit durch ein leicht verlangsamtes Arbeitstempo und etwas vermehrte Pausen lediglich als im Rahmen von 10 bis 20% eingeschränkt. Mit Verfügung vom 6. Februar 2003 teilte die IV-Stelle dem Versicherten mit, dass er bei einem zumutbaren Erwerbseinkommen von Fr. 39'169.- und einem Invaliditätsgrad von 35,76% keinen Anspruch auf eine Rente habe. Sie hielt im Einspracheentscheid vom 11. Juni 2003 an dieser Beurteilung fest. B. Das Verwaltungsgericht des Kantons Schwyz wies die gegen den Einspracheentscheid erhobene Beschwerde ab (Entscheid vom 21. Oktober 2003). B. Das Verwaltungsgericht des Kantons Schwyz wies die gegen den Einspracheentscheid erhobene Beschwerde ab (Entscheid vom 21. Oktober 2003). C. P._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, in Aufhebung des Entscheides vom 21. Oktober 2003 sei ihm ab Gesuchstellung mindestens eine halbe Invalidenrente beziehungsweise eine Invalidenrente nach Ermessen des Gerichts zuzusprechen. Das Verwaltungsgericht des Kantons Schwyz schliesst auf Abweisung, während sich die IV-Stelle und das Bundesamt für Sozialversicherung nicht vernehmen lassen.