Sachverhalt:
Sachverhalt:
A. O._, geboren 1959 und ab 1985 als Bauarbeiter für die Firma X._ AG arbeitend, schlug sich am 4. Februar 1997 mit einem Hammer auf das rechte Knie. Der zuständige Unfallversicherer gewährte O._ in der Folge mit Verfügung vom 8. November 2001 bei einem Invaliditätsgrad von 25 % ab November 2001 eine Rente, was letztinstanzlich durch das Eidgenössische Versicherungsgericht mit Urteil vom 26. Juni 2003, U 24/03, bestätigt worden ist.
Am 26. Mai 1998 meldete sich O._ bei der Invalidenversicherung zum Leistungsbezug an, worauf die IV-Stelle Schwyz die Akten des Unfallversicherers beizog. Weiter holte sie einen Bericht des Arbeitgebers vom 2. Juni 1998 sowie mehrere Berichte des Hausarztes Dr. med. S._, Spezialarzt für Innere Medizin FMH, ein und veranlasste eine Begutachtung durch den Sozialpsychiatrischen Dienst (SPD-Expertise vom 21. September 1999 mit Folgebericht vom 23. Januar 2002). Schliesslich liess die Verwaltung O._ durch die Medizinische Abklärungsstelle (MEDAS) polydisziplinär begutachten (Gutachten vom 13. Juni 2002 mit rheumatologischem Konsilium vom 4. April 2002 sowie psychiatrischem Konsilium vom 10. Mai 2002). Nach durchgeführtem Vorbescheidverfahren erachtete die Verwaltung O._ ab Mitte Mai 2002 als 100 % arbeitsfähig und sprach ihm mit Verfügung vom 8. Mai 2003 für die Zeit von Februar 1998 bis Ende Mai 2002 eine befristete ganze Invalidenrente zu. Dies wurde durch Einspracheentscheid vom 15. November 2004 bestätigt.
Am 26. Mai 1998 meldete sich O._ bei der Invalidenversicherung zum Leistungsbezug an, worauf die IV-Stelle Schwyz die Akten des Unfallversicherers beizog. Weiter holte sie einen Bericht des Arbeitgebers vom 2. Juni 1998 sowie mehrere Berichte des Hausarztes Dr. med. S._, Spezialarzt für Innere Medizin FMH, ein und veranlasste eine Begutachtung durch den Sozialpsychiatrischen Dienst (SPD-Expertise vom 21. September 1999 mit Folgebericht vom 23. Januar 2002). Schliesslich liess die Verwaltung O._ durch die Medizinische Abklärungsstelle (MEDAS) polydisziplinär begutachten (Gutachten vom 13. Juni 2002 mit rheumatologischem Konsilium vom 4. April 2002 sowie psychiatrischem Konsilium vom 10. Mai 2002). Nach durchgeführtem Vorbescheidverfahren erachtete die Verwaltung O._ ab Mitte Mai 2002 als 100 % arbeitsfähig und sprach ihm mit Verfügung vom 8. Mai 2003 für die Zeit von Februar 1998 bis Ende Mai 2002 eine befristete ganze Invalidenrente zu. Dies wurde durch Einspracheentscheid vom 15. November 2004 bestätigt.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 13. April 2005 ab.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 13. April 2005 ab.
C. O._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides und des Einspracheentscheides sei ihm über Mai 2002 hinaus eine ganze Invalidenrente zuzusprechen.
Vorinstanz und IV-Stelle schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. 1.1 Zutreffend sind die Erwägungen des kantonalen Gerichts über den Begriff der Erwerbsunfähigkeit (<ref-law>), der Invalidität (<ref-law>, <ref-law>), die Ermittlung des Invaliditätsgrades (<ref-law>, <ref-law> in der bis Ende 2002 geltenden Fassung) sowie den Anspruch auf eine Invalidenrente (<ref-law> in den vor und nach dem 1. Januar 2004 geltenden Fassungen). Darauf wird verwiesen.
Zu ergänzen bleibt, dass bei rückwirkender Zusprechung einer befristeten Invalidenrente die für die Rentenrevision geltenden Bestimmungen analog anzuwenden sind (<ref-law>, <ref-law> [in Kraft bis Ende 2002], <ref-law> [in den vor und nach März 2004 geltenden Fassungen]; <ref-ruling> f. Erw. 2d, AHI 1998 S. 121 Erw. 1b, je mit Hinweisen).
1.2 Der Versicherte hat sich bereits im Jahr 1998 bei der Invalidenversicherung zum Leistungsbezug angemeldet; damit ist teilweise ein rechtserheblicher Sachverhalt zu beurteilen, der sich vor dem In-Kraft-Treten des ATSG am 1. Januar 2003 und der 4. IV-Revision am 1. Januar 2004 verwirklicht hat. Nach <ref-ruling> kann in intertemporalrechtlicher Hinsicht aus <ref-law> nicht etwa der Umkehrschluss gezogen werden, dass für die Anwendbarkeit materiellrechtlicher Bestimmungen des neuen Gesetzes bezüglich im Zeitpunkt seines In-Kraft-Tretens noch nicht festgesetzter Leistungen einzig der Verfügungszeitpunkt ausschlaggebend sei. Vielmehr sind - von hier nicht interessierenden Ausnahmen abgesehen - die übergangsrechtlichen Grundsätze massgebend, welche für den Fall einer Änderung der gesetzlichen Grundlagen diejenige Ordnung anwendbar erklären, welche zur Zeit galt, als sich der zu Rechtsfolgen führende Sachverhalt verwirklicht hat. Es ist daher bei der Bestimmung des streitigen Rentenanspruchs (zumindest für die Zeiträume bis 31. Dezember 2002 und 31. Dezember 2003) auf die damals geltenden Bestimmungen des IVG abzustellen; dies betrifft namentlich - bezüglich des Invaliditätsbegriffs - <ref-law> (in der bis 31. Dezember 2002 gültig gewesenen Fassung) und - bezüglich des Umfangs eines allfälligen Rentenanspruchs - Art. 28 Abs. 1 und 1bis IVG (aufgehoben per Januar 2004) sowie - bezüglich der Invaliditätsbemessung nach der Einkommensvergleichsmethode - <ref-law> (in der bis 31. Dezember 2002 gültig gewesenen Fassung; <ref-ruling>). Für den Verfahrensausgang ist dies indessen insofern von untergeordneter Bedeutung, als die im ATSG enthaltenen Umschreibungen der Arbeitsunfähigkeit (<ref-law>), der Erwerbsunfähigkeit (<ref-law>), der Invalidität (<ref-law>) sowie des Einkommensvergleichs (<ref-law>) den bisherigen von der Rechtsprechung im Invalidenversicherungsbereich entwickelten Begriffen und Grundsätzen entsprechen und daher mit dem In-Kraft-Treten des ATSG keine substanzielle Änderung der früheren Rechtslage verbunden war (<ref-ruling>).
1.2 Der Versicherte hat sich bereits im Jahr 1998 bei der Invalidenversicherung zum Leistungsbezug angemeldet; damit ist teilweise ein rechtserheblicher Sachverhalt zu beurteilen, der sich vor dem In-Kraft-Treten des ATSG am 1. Januar 2003 und der 4. IV-Revision am 1. Januar 2004 verwirklicht hat. Nach <ref-ruling> kann in intertemporalrechtlicher Hinsicht aus <ref-law> nicht etwa der Umkehrschluss gezogen werden, dass für die Anwendbarkeit materiellrechtlicher Bestimmungen des neuen Gesetzes bezüglich im Zeitpunkt seines In-Kraft-Tretens noch nicht festgesetzter Leistungen einzig der Verfügungszeitpunkt ausschlaggebend sei. Vielmehr sind - von hier nicht interessierenden Ausnahmen abgesehen - die übergangsrechtlichen Grundsätze massgebend, welche für den Fall einer Änderung der gesetzlichen Grundlagen diejenige Ordnung anwendbar erklären, welche zur Zeit galt, als sich der zu Rechtsfolgen führende Sachverhalt verwirklicht hat. Es ist daher bei der Bestimmung des streitigen Rentenanspruchs (zumindest für die Zeiträume bis 31. Dezember 2002 und 31. Dezember 2003) auf die damals geltenden Bestimmungen des IVG abzustellen; dies betrifft namentlich - bezüglich des Invaliditätsbegriffs - <ref-law> (in der bis 31. Dezember 2002 gültig gewesenen Fassung) und - bezüglich des Umfangs eines allfälligen Rentenanspruchs - Art. 28 Abs. 1 und 1bis IVG (aufgehoben per Januar 2004) sowie - bezüglich der Invaliditätsbemessung nach der Einkommensvergleichsmethode - <ref-law> (in der bis 31. Dezember 2002 gültig gewesenen Fassung; <ref-ruling>). Für den Verfahrensausgang ist dies indessen insofern von untergeordneter Bedeutung, als die im ATSG enthaltenen Umschreibungen der Arbeitsunfähigkeit (<ref-law>), der Erwerbsunfähigkeit (<ref-law>), der Invalidität (<ref-law>) sowie des Einkommensvergleichs (<ref-law>) den bisherigen von der Rechtsprechung im Invalidenversicherungsbereich entwickelten Begriffen und Grundsätzen entsprechen und daher mit dem In-Kraft-Treten des ATSG keine substanzielle Änderung der früheren Rechtslage verbunden war (<ref-ruling>).
2. Streitig ist der Anspruch auf eine Invalidenrente über Mai 2002 hinaus und dabei die Frage, ob eine anspruchsbeeinflussende Änderung des Invaliditätsgrades vorliegt; umstritten ist dabei vor allem die Frage der Arbeitsfähigkeit in psychischer Hinsicht.
2.1 Die Vorinstanz stellt auf das Gutachten der MEDAS - insbesondere auf deren psychiatrisches Konsilium - ab und geht von einer vollständigen Arbeitsfähigkeit in einer leidensangepassten Tätigkeit aus. Aber sogar wenn widersprüchliche Gutachten vorliegen sollten, sei die - hier von allen Ärzten angenommene - somatoforme Schmerzstörung nicht invalidisierend, da die von der Rechtsprechung dazu vorausgesetzten Kriterien nicht erfüllt seien.
Der Versicherte ist demgegenüber im Wesentlichen der Auffassung, es könne nicht auf die Auffassung des psychiatrischen Konsiliums der MEDAS abgestellt werden, da der Gutachter die Vorakten nicht gekannt habe. Zudem seien das Gutachten sowie das psychiatrische Konsilium nicht nachvollziehbar, nicht schlüssig und nicht vollständig; so sei insbesondere nicht begründet worden, weshalb die vorher angenommene und durch das Gutachten des SPD von 1999 bestätigte vollständige Arbeitsunfähigkeit aus psychischen Gründen plötzlich weggefallen sei. Aber selbst wenn auf diese Unterlagen abgestellt werde, sei eine vollständige Arbeitsunfähigkeit anzunehmen, da die von der Praxis verlangten Voraussetzungen für die invalidisierende Wirkung einer somatoformen Schmerzstörung gegeben seien.
2.2 In somatischer Hinsicht ist der Beschwerdeführer gemäss Gutachten der MEDAS vom 13. Juni 2002 sowie rheumatologischem Konsilium vom 4. April 2002 vollständig arbeitsfähig, wenn es sich nicht ausschliesslich um stehende oder gehende und nicht mit häufigem Knien oder Kauern verbundene Tätigkeiten handelt. Dies ist zu Recht nicht bestritten.
2.2 In somatischer Hinsicht ist der Beschwerdeführer gemäss Gutachten der MEDAS vom 13. Juni 2002 sowie rheumatologischem Konsilium vom 4. April 2002 vollständig arbeitsfähig, wenn es sich nicht ausschliesslich um stehende oder gehende und nicht mit häufigem Knien oder Kauern verbundene Tätigkeiten handelt. Dies ist zu Recht nicht bestritten.
2.3 2.3.1 Im psychiatrischen Konsilium vom 10. Mai 2002 wird ein "Hinweis für somatoforme Schmerzstörung ohne weitere psychiatrische Befunde" nach ICD-10 F45 diagnostiziert und festgehalten, die Arbeitsfähigkeit sei "aus psychiatrischen Gründen nicht wesentlich eingeschränkt". Dies deckt sich in etwa mit dem Befund im Hauptgutachten der MEDAS, wonach die Psyche "offen und kooperativ" wirke. Wie in der Verwaltungsgerichtsbeschwerde zu Recht vorgebracht wird, findet sich im Konsiliarbericht tatsächlich kein Hinweis, dass dem begutachtenden Psychiater die Vorakten vorlagen, auch wenn - weil es sich um eine für Begutachtungen spezialisierte MEDAS handelt - anzunehmen ist, die Akten seien zusammen mit dem Auftrag dem Konsiliararzt überwiesen worden. Es kann aber letztlich offen bleiben, ob der Konsiliarbericht von Mai 2002 und das sich darauf stützende Gutachten von Juni 2002 auch hinsichtlich der psychiatrischen Beurteilung die formellen Anforderungen erfüllen, welche die Rechtsprechung an solche Beweismittel stellt (<ref-ruling> Erw. 3a), denn die Diagnose der somatoformen Schmerzstörung wird einerseits vom Beschwerdeführer nicht bestritten und andererseits durch die Berichte des SPD von September 1999 und Januar 2002 bestätigt. Damit ist davon auszugehen, dass beim Versicherten eine somatoforme Schmerzstörung vorliegt. Im Folgenden ist deshalb zu prüfen, ob diese zu einer Invalidität führt.
2.3.2 Beeinträchtigungen der psychischen Gesundheit können in gleicher Weise wie körperliche Gesundheitsschäden eine Invalidität im Sinne von <ref-law> in Verbindung mit <ref-law> bewirken. Nicht als Folgen eines psychischen Gesundheitsschadens und damit invalidenversicherungsrechtlich nicht als relevant gelten Einschränkungen der Erwerbsfähigkeit, welche die versicherte Person bei Aufbietung allen guten Willens, die verbleibende Leistungsfähigkeit zu verwerten, abwenden könnte; das Mass des Forderbaren wird dabei weitgehend objektiv bestimmt (<ref-ruling>; AHI 2001 S. 228 Erw. 2b mit Hinweisen; vgl. auch <ref-ruling> Erw. 4c in fine).
Die Annahme eines psychischen Gesundheitsschadens, so auch einer anhaltenden somatoformen Schmerzstörung, setzt zunächst eine fachärztlich (psychiatrisch) gestellte Diagnose nach einem wissenschaftlich anerkannten Klassifikationssystem voraus (<ref-ruling> ff. Erw. 5.3 und Erw. 6). Wie jede andere psychische Beeinträchtigung begründet indes auch eine diagnostizierte anhaltende somatoforme Schmerzstörung als solche noch keine Invalidität. Vielmehr besteht eine Vermutung, dass die somatoforme Schmerzstörung oder ihre Folgen mit einer zumutbaren Willensanstrengung überwindbar sind. Bestimmte Umstände, welche die Schmerzbewältigung intensiv und konstant behindern, können den Wiedereinstieg in den Arbeitsprozess unzumutbar machen, weil die versicherte Person alsdann nicht über die für den Umgang mit den Schmerzen notwendigen Ressourcen verfügt. Ob ein solcher Ausnahmefall vorliegt, entscheidet sich im Einzelfall anhand verschiedener Kriterien. Im Vordergrund steht die Feststellung einer psychischen Komorbidität von erheblicher Schwere, Ausprägung und Dauer. Massgebend sein können auch weitere Faktoren, so: chronische körperliche Begleiterkrankungen; ein mehrjähriger, chronifizierter Krankheitsverlauf mit unveränderter oder progredienter Symptomatik ohne längerdauernde Rückbildung; ein sozialer Rückzug in allen Belangen des Lebens; ein verfestigter, therapeutisch nicht mehr beeinflussbarer innerseelischer Verlauf einer an sich missglückten, psychisch aber entlastenden Konfliktbewältigung (primärer Krankheitsgewinn; "Flucht in die Krankheit"); das Scheitern einer konsequent durchgeführten ambulanten oder stationären Behandlung (auch mit unterschiedlichem therapeutischem Ansatz) trotz kooperativer Haltung der versicherten Person (<ref-ruling>). Je mehr dieser Kriterien zutreffen und je ausgeprägter sich die entsprechenden Befunde darstellen, desto eher sind - ausnahmsweise - die Voraussetzungen für eine zumutbare Willensanstrengung zu verneinen (Meyer-Blaser, Der Rechtsbegriff der Arbeitsunfähigkeit und seine Bedeutung in der Sozialversicherung, in: Schmerz und Arbeitsunfähigkeit, St. Gallen 2003, S. 77).
Beruht die Leistungseinschränkung auf Aggravation oder einer ähnlichen Konstellation, liegt regelmässig keine versicherte Gesundheitsschädigung vor (siehe Meyer-Blaser, a.a.O., S. 92 f.). Eine solche Ausgangslage ist etwa gegeben, wenn: eine erhebliche Diskrepanz zwischen den geschilderten Schmerzen und dem gezeigten Verhalten oder der Anamnese besteht; intensive Schmerzen angegeben werden, deren Charakterisierung jedoch vage bleibt; keine medizinische Behandlung und Therapie in Anspruch genommen wird; demonstrativ vorgetragene Klagen auf den Sachverständigen unglaubwürdig wirken; schwere Einschränkungen im Alltag behauptet werden, das psychosoziale Umfeld jedoch weitgehend intakt ist (siehe Kopp/Willi/Klipstein, Im Graubereich zwischen Körper, Psyche und sozialen Schwierigkeiten, in: Schweizerische Medizinische Wochenschrift 1997 S. 1434, mit Hinweis auf eine grundlegende Untersuchung von Winckler und Foerster; zum Ganzen: <ref-ruling>).
2.3.3 Entgegen der Auffassung in der Verwaltungsgerichtsbeschwerde sind die von der Rechtsprechung verlangten Kriterien, welche die Schmerzbewältigung intensiv und konstant behindern und den Wiedereinstieg in den Arbeitsprozess unzumutbar machen können (Erw. 2.3.2 hievor), hier nicht oder nur in sehr geringer Ausprägung vorhanden:
- Es besteht keine psychische Komorbidität; eine solche wird weder im Gutachten der MEDAS von Juni 2002 noch in demjenigen des SPD von September 1999 diagnostiziert. Ein nachteiliger Verarbeitungsverlauf, eine Prämorbidität, auf die Schmerzsymptomatik eingeschränkte Gedankengänge und Neigung zum Grübeln, Labilität etc. stellen - entgegen dem Beschwerdeführer - keine psychische Komorbidität dar, sondern sind Ausdruck und Begleitsymptome des Schmerzgeschehens. Dasselbe gilt im Hinblick auf die weiter erwähnte depressive Symptomatik als solche und deren Behandlung mit Antidepressiva.
- Der Versicherte ist aus somatischen Gründen nur leicht eingeschränkt und es besteht in dieser Hinsicht für eine leidensangepasste Tätigkeit eine vollständige Arbeitsfähigkeit (vgl. Erw. 2.2 hievor).
- Ein sozialer Rückzug in allen Belangen des Lebens ist nicht ausgewiesen. Vielmehr hält der psychiatrische Konsiliararzt der MEDAS fest, dass der Beschwerdeführer oft Fischen gehe, andere Leute treffe und auch zu den Kindern einen guten Kontakt habe. Dieser Sachverhalt wird in der Verwaltungsgerichtsbeschwerde im Kern denn auch nicht bestritten; vielmehr wird ausgeführt, es sei nicht klar, ob die Kontakte zu anderen Personen im Vergleich zur Zeit vor dem Unfall abgenommen hätten oder gleich geblieben seien. Dies kann aber letztlich offen bleiben; denn auch für den Fall einer Verminderung der Kontakte ändert sich nichts daran, dass der Versicherte weiterhin viele soziale Kontakte hat, weshalb kein sozialer Rückzug stattgefunden hat.
- Ein primärer Krankheitsgewinn ist nicht ausgewiesen, wird er doch in keinem der psychiatrischen Berichte erwähnt; der SPD führt im Gutachten vom 21. September 1999 nur aus, dass der Unfall "als massive Kränkung und Verletzung der körperlichen Integrität aufgefasst" wurde und der Versicherte chronische Schmerzen entwickelte, denen er sich ausgeliefert fühle. Ob damit von einem primären Krankheitsgewinn gesprochen werden darf, kann letztlich offen bleiben, da er - sollte er wirklich bestehen - angesichts der Umstände des Einzelfalls und mangels anderer Kriterien kaum ins Gewicht fiele.
- Ein Scheitern einer konsequent durchgeführten Behandlung trotz kooperativer Haltung des Versicherten liegt nicht vor, wird doch bereits im Gutachten des SPD von September 1999 festgehalten, dass eine Therapie wünschenswert wäre, wenn der Beschwerdeführer "genügend motiviert wäre." Im psychiatrischen Konsilium wird in dieser Hinsicht sogar ausgeführt, Eingliederungsbemühungen seien nur sinnvoll, wenn sich der Versicherte "motiviert und kooperativ" zeige, wovon aber "bei der psychiatrischen Untersuchung wenig zu spüren" gewesen sei.
Somit stellt die diagnostizierte somatoforme Schmerzstörung keinen invalidisierenden Gesundheitsschaden dar und es besteht aus psychischer Sicht eine vollständige Arbeitsfähigkeit. Etwas anderes kann auch nicht aus dem unfallversicherungsrechtlichen - den Beschwerdeführer betreffenden - Urteil des Eidgenössischen Versicherungsgerichts vom 26. Juni 2003, U 24/03, abgeleitet werden: Entgegen der Auffassung in der Verwaltungsgerichtsbeschwerde ist in diesem Urteil in Erw. 3.3 die Frage des Vorliegens eines psychischen Gesundheitsschadens mit Auswirkungen auf die Arbeits- und Erwerbsfähigkeit letztlich offen gelassen worden, da deren Beantwortung für das damalige Verfahren nicht massgebend gewesen ist.
Die vollständige Arbeitsfähigkeit auch in psychischer Hinsicht ist gemäss dem Gutachten der MEDAS von Juni 2002 spätestens ab Mitte Mai 2002 anzunehmen, so dass ab diesem Zeitpunkt eine Änderung des rechtserheblichen Sachverhalts eingetreten ist. Dies wird dadurch bestätigt, dass der SPD im Folgebericht vom 23. Januar 2002 ausgeführt hat, es sei schon im Februar 2001 - d.h. etwa anderthalb Jahre nach der Begutachtung durch diese Institution - eine deutliche Verbesserung des Gesundheitszustandes eingetreten.
2.4 Im Einspracheentscheid vom 15. November 2004 hat die IV-Stelle den Invaliditätsgrad auf 20 % festgesetzt, wobei sie sich auf das zuletzt verdiente Einkommen sowie die Tabellenlöhne der vom Bundesamt für Statistik herausgegebenen Schweizerischen Lohnstrukturerhebung 2002 gestützt und einen behinderungsbedingten Abzug von 15 % berücksichtigt hat. Es kann offen bleiben, ob dieser Abzug höher anzusetzen ist, da auch unter Berücksichtigung des maximal zulässigen Abzuges von 25 % (<ref-ruling> Erw. 5b/cc) ein rentenausschliessender Invaliditätsgrad von deutlich unter 40 % resultiert.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 5. Dezember 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: