Sachverhalt:
A.
Der 1961 geborene A._ stürzte am 29. September 2016 in eine ca. 1 bis 1.5 m tiefe Grube und verletzte sich dabei am Arm sowie an der Schulter. Die Unfallversicherung erbrachte in der Folge Leistungen. Aufgrund anhaltender Schulter- und Rückenbeschwerden meldete sich der Versicherte am 1. März 2018 bei der Invalidenversicherung zum Leistungsbezug an, woraufhin ihm die IV-Stelle Schwyz mit Verfügung vom 15. Juni 2020 rückwirkend vom 1. Oktober 2018 bis 31. Oktober 2019 eine befristete ganze Invalidenrente zusprach.
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 13. November 2020 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, ihm sei in Aufhebung des angefochtenen Entscheids auch für die Zeit nach dem 31. Oktober 2019 eine Invalidenrente aufgrund einer Erwerbsunfähigkeit von mindestens 40 % auszurichten; eventualiter sei die Sache zu weiteren Abklärungen an die Vorinstanz zurückzuweisen.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
1.2. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit sowie der konkreten Beweiswürdigung handelt es sich um für das Bundesgericht grundsätzlich verbindliche Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.). Frei überprüfbare Rechtsfragen sind hingegen die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1 und Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten.
2.
Echte Noven, d.h. Tatsachen und Beweismittel, die erst nach dem vorinstanzlichen Entscheid entstanden sind, sind vor Bundesgericht unzulässig (<ref-ruling> E. 1.2 S. 22 f. mit Hinweisen; Urteil 9C_274/2020 vom 5. November 2020 E. 2.2). Auf die vom Beschwerdeführer in seiner Beschwerdeschrift neu vorgebrachten Ausführungen seines behandelnden Hausarztes ist im bundesgerichtlichen Verfahren nicht einzugehen, da es sich um echte Noven handelt, die von vornherein unbeachtlich sind.
3.
3.1. Zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die von der IV-Stelle am 15. Juni 2020 verfügte Befristung des Rentenanspruchs bestätigte. Streitig sind dabei letztinstanzlich der Gesundheitszustand des Beschwerdeführers sowie das Valideneinkommen.
3.2. Das kantonale Gericht legte die massgeblichen Rechtsgrundlagen zur Invalidität (<ref-law> in Verbindung mit <ref-law>) zutreffend dar. Darauf wie auch auf die Ausführungen zum Beweiswert und zur Beweiswürdigung ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3 S. 352 ff.; vgl. auch <ref-ruling> E. 2.2.2 S. 126 f.) wird verwiesen.
4.
Die Vorinstanz kam nach Würdigung der medizinischen Akten, darunter insbesondere der Austrittsbericht der Klinik B._ vom 23. Oktober 2019, zum Schluss, der Gesundheitszustand sei medizinisch hinreichend und in mehreren Disziplinen (Orthopädie, Chirurgie, Radiologie, Neurologie, Psychiatrie, physikalische Medizin und Rehabilitation) abgeklärt worden. Gegen zusätzliche Abklärungen spreche die während des stationären Aufenthalts in der Klinik B._ festgestellte Selbstlimitierung des Beschwerdeführers, die auch schon früher dokumentiert sei. Es sei nicht davon auszugehen, der Beschwerdeführer werde die Selbstlimitierung aufgeben. Mit der von der Klinik B._ festgestellten medizinisch-theoretischen Arbeitsfähigkeitsbeurteilung, die vom Regionalen Ärztlichen Dienst (RAD) für die Invalidenversicherung nachvollziehbar übernommen worden sei, habe es sein Bewenden. Bezüglich der erwerblichen Auswirkungen der festgestellten Leistungsfähigkeit nahm die Vorinstanz an, selbst wenn dem vom Beschwerdeführer postulierten Valideneinkommen (Fr. 71'624.90) gefolgt würde, ergäbe sich - mit einem maximalen leidensbedingten Abzug vom Tabellenlohn von 25 % beim Invalideneinkommen - ein rentenausschliessender Invaliditätsgrad von 29 %.
5.
5.1. Der Beschwerdeführer bringt vor, das kantonale Gericht habe den Sachverhalt ungenügend abgeklärt und zu Unrecht auf den Austrittsbericht der Klinik B._ abgestellt. Dessen Fokus liege auf den unfallbedingten Beschwerden an der Schulter und nicht auf den ebenfalls vorhandenen Einschränkungen am Rücken. Die im Austrittsbericht der Klinik B._ angenommene Selbstlimitierung könne sich nur auf das (unfallkausale) Schulterleiden beziehen, nicht aber auf die Rückenbeschwerden.
5.2. Die Vorinstanz legte die aktenkundige Krankheitsgeschichte des Beschwerdeführers vollständig dar. Die Folgen des Sturzes wurden mehrfach bildgebend abgeklärt. Die vom Beschwerdeführer angesprochenen Rückenbeschwerden ordnete Dr. med. C._, Oberarzt für Wirbelsäulenchirurgie der Klinik D._, mit Bericht vom 24. April 2019 als chronische Lumbalgie mit pseudoradikulärer Ausstrahlung ins rechte Bein (bei leichter degenerativer Skoliose) ein. Zwischen dem 16. September und dem 15. Oktober 2019 hielt sich der Beschwerdeführer sodann in der Klinik B._ auf. Der Austrittsbericht vom 23. Oktober 2019 hält folgende Diagnosen fest: Artikularseitige Partialläsion der Supraspinatussehne sowie SLAP-Läsion rechts; Status nach Rotatorenmanschetten-Naht in der rechten Schulter mit vollständiger restitutio ad integrum; chronische Lumbalgie; Diabetes mellitus Typ 2; gastroösophageale Refluxkrankheit (GERD) und symptomatische Prostatahyperplasie. Das während der Rehabilitation durchgeführte psychosomatische Konsilium blieb ergebnislos. Der Austrittsbericht vom 23. Oktober 2019 beurteilt zunächst - insofern ist dem Beschwerdeführer Recht zu geben - aus unfallkausaler Sicht die noch zumutbaren Tätigkeiten. Überdies nimmt der Bericht ausdrücklich zum unfallfremden Leiden an der Lendenwirbelsäule Stellung; hier wird eine wechselbelastende Tätigkeit als zumutbar erachtet. Der Austrittsbericht der Klinik B._ liefert demnach ein vollständiges Bild des damaligen Gesundheitszustands; er beschränkt sich nicht, wie der Versicherte rügt, auf unfallkausale Beschwerden. Der RAD hielt auf dieser Grundlage am 5. März 2020 fest, eine leichte bis mittelschwere Arbeit sei ganztags zumutbar. Spezielle Einschränkungen ergäben sich zum einen bei der rechten Schulter (keine Tätigkeit über Schulterhöhe, ohne Ersteigen von Leitern/Gerüsten sowie ohne Schläge/Vibrationsbelastung), zum anderen aus dem Lendenwirbelsyndrom. Diesbezüglich schloss sich der RAD der Einschätzung im Austrittsbericht der Klinik B._ an und erachtete eine wechselbelastende Tätigkeit als zumutbar. Gemäss Bericht des Hausarztes vom 28. Februar 2020 ist davon auszugehen, der Gesundheitszustand sei stabil.
5.3. Die vorinstanzliche Beweiswürdigung ist vor diesem Hintergrund nachvollziehbar und jedenfalls nicht willkürlich. Der Verzicht auf Beweisweiterungen verletzt - entgegen der Auffassung des Beschwerdeführers - nicht den Untersuchungsgrundsatz (zur Zulässigkeit der antizipierenden Beweiswürdigung: <ref-ruling> E. 5.3 S. 236). Bei diesem Ergebnis ist an sich irrelevant, ob die Vorinstanz auch mit Blick auf Selbstlimitierungstendenzen des Beschwerdeführers von weiteren Abklärungen absehen durfte. Der Vollständigkeit halber ist anzufügen, dass auch die diesbezügliche Begründung nicht gegen Bundesrecht verstösst. Dr. med. E._, Facharzt Neurologie, stellte in Anlehnung an die neurologische Untersuchung im Mai 2019 eine deutliche Schonhaltung in Bezug auf den rechten Arm fest. Dr. med. F._, Facharzt Orthopädie, verwies am 21. März 2019 auf einen anhaltend hohen Leidensdruck des Beschwerdeführers. Der Bericht über das psychosomatische Konsilium vom 16. Oktober 2019 konstatiert eine schmerzbedingte Schonhaltung und praktisch fehlende Schmerzdistanzierung. Schliesslich hält der Austrittsbericht der Klinik B._ eine "erhebliche Symptomausweitung" sowie Selbstlimitierung des Beschwerdeführers fest. Bei dieser Befundlage war der vorinstanzliche Schluss, weitere Abklärungen würden nicht zu (unverfälschten) Ergebnissen führen, zumindest nicht willkürlich.
6.
6.1. Weiter wirft der Beschwerdeführer dem kantonalen Gericht in Bezug auf das ermittelte Valideneinkommen einerseits Rechtsverweigerung vor. Zum anderen fordert er die Berücksichtigung eines Valideneinkommens in der Höhe von Fr. 71'624.90.
6.1.1. Seine Rechtsverweigerungsrüge begründet der Beschwerdeführer mit seinem Anspruch auf eine Beurteilung des Valideneinkommens wegen der "Rechtskraftwirkung" des angefochtenen Entscheids für zukünftige Verfahren. Er macht geltend, bei einer Verschlechterung des Gesundheitszustands würde das von der Vorinstanz festgelegte Valideneinkommen wiederum als Vergleichseinkommen herangezogen werden. Die unterbliebene Klärung des Valideneinkommens bedeute für ihn eine Schlechterstellung.
6.1.2. Zwar trifft zu, dass die Rechtskraft von Verfügungen und Entscheiden über Dauerleistungen im Sozialversicherungsrecht die Anspruchsvoraussetzungen und Leistungsbemessungsfaktoren erfasst (<ref-ruling> E. 3.1.1 S. 373). Bei einer erfolgreichen Neuanmeldung wird die IV-Stelle den Anspruch jedoch in tatsächlicher und rechtlicher Hinsicht "allseitig" (<ref-ruling> E. 2.3 S. 11) und umfassend zu prüfen haben (Urteil 8C_321/2018 vom 27. November 2018 E. 4.2 mit Hinweis). Der Invaliditätsgrad wird auf der Grundlage eines richtigen und vollständig festgestellten Sachverhalts neu und ohne Bindung an frühere Invaliditätsschätzungen zu ermitteln sein (Urteil 9C_215/2010 vom 20. April 2010 E. 1.1). Das gilt auch für das Einkommen, das die versicherte Person erzielen könnte, wenn sie nicht invalid geworden wäre (<ref-ruling> E. 3.3.1 S. 30; vgl. Urteil 9C_210/2011 vom 21. April 2011 E. 3.2).
6.1.3. Ein Entscheid der IV-Stelle ist für eine Einrichtung der beruflichen Vorsorge unter den in <ref-ruling> E. 4.3.2 S. 69 dargelegten Voraussetzungen grundsätzlich verbindlich. Die Bindungswirkung einer Verfügung der Invalidenversicherung für eine Einrichtung der beruflichen Vorsorge vermag sich allerdings nicht auf Feststellungen zu erstrecken, welche für die Festlegung des Anspruchs auf eine Rente der Invalidenversicherung nicht entscheidend waren. So ist der von der IV-Stelle ermittelte Invaliditätsgrad für die Vorsorgeeinrichtung nicht bindend, wenn er die gesetzliche Mindestgrenze von 40 % (Art. 28 Abs. 1 und 2 IVG) nicht erreicht, weil in diesem unterhalb der Erheblichkeitsschwelle liegenden Bereich für die Organe der Invalidenversicherung keine Veranlassung besteht, eine genaue Bestimmung des Invaliditätsgrades vorzunehmen (vgl. etwa Urteil 9C_115/2015 vom 12. November 2015 E. 4.1 mit Hinweis, in: SVR 2016 BVG Nr. 37 S. 150).
6.1.4. Vor dem Hintergrund der dargelegten Rechtsprechungen hat der Beschwerdeführer weder mit Blick auf eine allfällige Neuanmeldung noch betreffend die "Reflexwirkungen" in der beruflichen Vorsorge ein schutzwürdiges Interesse an der Festlegung eines bestimmten Valideneinkommens. Der Vorinstanz kann folglich keine Rechtsverweigerung vorgeworfen werden.
6.2. Soweit der Beschwerdeführer vor Bundesgericht das Valideneinkommen thematisiert und die Heraufsetzung auf Fr. 71'624.90 verlangt, gehen seine Ausführungen an der Sache vorbei, denn die Vorinstanz nahm an, selbst mit diesem Valideneinkommen ergebe sich kein anspruchsbegründender Invaliditätsgrad. Mit diesen Erwägungen setzt sich der Beschwerdeführer nicht auseinander. Nicht geltend gemacht wird, das kantonale Gericht habe die Grundsätze zur Ermittlung des Valideneinkommens (<ref-ruling> E. 3.1 S. 59; <ref-ruling> E. 4.1 S. 325 f.) verletzt. Das ist auch nicht ersichtlich. Das von der Vorinstanz angenommene Invalideneinkommen ist im bundesgerichtlichen Verfahren nicht mehr strittig, weshalb darauf nicht einzugehen ist.
7.
Zusammenfassend verletzt der angefochtene Entscheid kein Bundesrecht. Die Beschwerde ist unbegründet.
8.
Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 1. März 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Huber