Sachverhalt: Sachverhalt: A. O._, geboren 1959 und ab 1985 als Bauarbeiter für die Firma X._ AG arbeitend, schlug sich am 4. Februar 1997 mit einem Hammer auf das rechte Knie. Der zuständige Unfallversicherer gewährte O._ in der Folge mit Verfügung vom 8. November 2001 bei einem Invaliditätsgrad von 25 % ab November 2001 eine Rente, was letztinstanzlich durch das Eidgenössische Versicherungsgericht mit Urteil vom 26. Juni 2003, U 24/03, bestätigt worden ist. Am 26. Mai 1998 meldete sich O._ bei der Invalidenversicherung zum Leistungsbezug an, worauf die IV-Stelle Schwyz die Akten des Unfallversicherers beizog. Weiter holte sie einen Bericht des Arbeitgebers vom 2. Juni 1998 sowie mehrere Berichte des Hausarztes Dr. med. S._, Spezialarzt für Innere Medizin FMH, ein und veranlasste eine Begutachtung durch den Sozialpsychiatrischen Dienst (SPD-Expertise vom 21. September 1999 mit Folgebericht vom 23. Januar 2002). Schliesslich liess die Verwaltung O._ durch die Medizinische Abklärungsstelle (MEDAS) polydisziplinär begutachten (Gutachten vom 13. Juni 2002 mit rheumatologischem Konsilium vom 4. April 2002 sowie psychiatrischem Konsilium vom 10. Mai 2002). Nach durchgeführtem Vorbescheidverfahren erachtete die Verwaltung O._ ab Mitte Mai 2002 als 100 % arbeitsfähig und sprach ihm mit Verfügung vom 8. Mai 2003 für die Zeit von Februar 1998 bis Ende Mai 2002 eine befristete ganze Invalidenrente zu. Dies wurde durch Einspracheentscheid vom 15. November 2004 bestätigt. Am 26. Mai 1998 meldete sich O._ bei der Invalidenversicherung zum Leistungsbezug an, worauf die IV-Stelle Schwyz die Akten des Unfallversicherers beizog. Weiter holte sie einen Bericht des Arbeitgebers vom 2. Juni 1998 sowie mehrere Berichte des Hausarztes Dr. med. S._, Spezialarzt für Innere Medizin FMH, ein und veranlasste eine Begutachtung durch den Sozialpsychiatrischen Dienst (SPD-Expertise vom 21. September 1999 mit Folgebericht vom 23. Januar 2002). Schliesslich liess die Verwaltung O._ durch die Medizinische Abklärungsstelle (MEDAS) polydisziplinär begutachten (Gutachten vom 13. Juni 2002 mit rheumatologischem Konsilium vom 4. April 2002 sowie psychiatrischem Konsilium vom 10. Mai 2002). Nach durchgeführtem Vorbescheidverfahren erachtete die Verwaltung O._ ab Mitte Mai 2002 als 100 % arbeitsfähig und sprach ihm mit Verfügung vom 8. Mai 2003 für die Zeit von Februar 1998 bis Ende Mai 2002 eine befristete ganze Invalidenrente zu. Dies wurde durch Einspracheentscheid vom 15. November 2004 bestätigt. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 13. April 2005 ab. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 13. April 2005 ab. C. O._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides und des Einspracheentscheides sei ihm über Mai 2002 hinaus eine ganze Invalidenrente zuzusprechen. Vorinstanz und IV-Stelle schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.