Sachverhalt:
A.
Nach einem ersten Verfahren meldete sich der 1962 geborene A._ am 10. März 2015 erneut bei der Eidgenössischen Invalidenversicherung zum Leistungsbezug an, wobei er eine Verschlechterung seines Gesundheitszustandes geltend machte. Nach Abklärungen - insbesondere zwei Begutachtungen durch die Medizinische Abklärungsstelle Bern, ZVMB GmbH (nachfolgend: MEDAS; Expertisen vom 15. Juni 2016 und 5. Februar 2018; ergänzende Stellungnahme vom 6. Mai 2019) - sprach die IV-Stelle Schwyz dem Versicherten mit Verfügung vom 31. Oktober 2019 eine vom 1. September 2015 bis 30. Juni 2016 befristete ganze Invalidenrente zu.
B.
Die hiergegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 10. Juli 2020 ab, soweit für den Zeitraum vom 1. Juli 2016 bis 31. August 2019 Rentenleistungen beantragt wurden. Für den Zeitraum ab 1. September 2019 wies es die Sache zur weiteren Abklärung und Neuverfügung an die IV-Stelle zurück.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ab 1. Juli 2016 eine ganze Invalidenrente beantragen. Eventualiter sei die Angelegenheit zur Durchführung weiterer Abklärungen an die Vorinstanz respektive die IV-Stelle zurückzuweisen.
Am 16. September 2020 äusserte sich die Vorinstanz zur Zulässigkeit der Beschwerde.
Erwägungen:
1.
1.1. Das Bundesgericht prüft seine Zuständigkeit und die Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (Art. 29 Abs. 1 BGG; BGE 144 V 97 E. 1 S. 99; 144 II 184 E. 1 S. 186).
1.2. Die Beschwerde an das Bundesgericht ist zulässig gegen Endentscheide, das heisst gegen Entscheide, die das Verfahren abschliessen (Art. 90 BGG), und gegen Teilentscheide, die nur einen Teil der gestellten Begehren behandeln, wenn diese unabhängig von den anderen beurteilt werden können, oder die das Verfahren nur für einen Teil der Streitgenossen und Streitgenossinnen abschliessen (Art. 91 BGG). Gegen selbständig eröffnete Vor- und Zwischenentscheide ist hingegen die Beschwerde nur zulässig, wenn sie die Zuständigkeit oder den Ausstand betreffen (Art. 92 BGG), einen nicht wieder gutzumachenden Nachteil bewirken können (Art. 93 Abs. 1 lit. a BGG) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Art. 93 Abs. 1 lit. b BGG).
1.3. Ein Entscheid, mit welchem eine Vorinstanz des Bundesgerichts eine bestimmte, vorangehende Teil-Periode des Rentenanspruchs materiell abschliessend beurteilt und für eine darauf folgende Teil-Periode die Sache zu neuer Beurteilung an die Verwaltung zurückweist, ist in Bezug auf die materiell abschliessend beurteilte Phase ein Teilentscheid, der selbständig anfechtbar ist, bei Nichtanfechtung selbständig rechtskräftig wird und später nicht mehr angefochten werden kann (BGE 135 V 141 E. 1.4 S. 144 ff.; Urteil 9C_770/2019 vom 11. März 2020 E. 2.2).
1.4. Bezüglich des Zeitraums zwischen 1. Juli 2016 und 31. August 2019 stellt der angefochtene Entscheid einen Teilentscheid gemäss Art. 91 lit. a BGG dar. Für den Anspruch ab dem 1. September 2019 handelt es sich um einen Vor- resp. Zwischenentscheid im Sinne von Art. 93 BGG. Der Beschwerdeführer beantragt ab 1. Juli 2016 eine ganze Invalidenrente. Die Beschwerde ist zulässig.
2.
2.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; BGE 135 II 384 E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
2.2. Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist. Eine offensichtlich unrichtige Sachverhaltsfeststellung weist damit die Tragweite von Willkür auf. Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erscheint. Eine Sachverhaltsfeststellung ist etwa dann offensichtlich unrichtig, wenn das kantonale Gericht den Sinn und die Tragweite eines Beweismittels offensichtlich falsch eingeschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat (BGE 144 V 50 E. 4.2 S. 53 mit Hinweisen; Urteil 9C_752/2018 vom 12. April 2019 E. 1.2).
2.3. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit handelt es sich um Tatfragen (BGE 132 V 393 E. 3.2 S. 397 ff.). Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Dagegen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes und der Anforderungen an die Beweiskraft ärztlicher Berichte und Gutachten Rechtsfragen (Urteile 9C_899/2017 vom 9. Mai 2018 E. 2.1 und 8C_673/2016 vom 10. Januar 2017 E. 3.2).
3.
3.1. Die Vorinstanz hat den beiden MEDAS-Gutachten vom 15. Juni 2016 und 5. Februar 2018 Beweiskraft zuerkannt, hat gestützt darauf vom 1. Juli 2016 bis Ende August 2019 auf eine Arbeitsfähigkeit von 80 % in leidensangepasster Tätigkeit geschlossen und einen Rentenanspruch unter Anrechnung eines Tabellenabzugs von 10 % verneint. Ab September 2019 hat sie auf eine Verschlechterung des Gesundheitszustandes geschlossen und die Sache zwecks Durchführung weiterer Abklärungen an die Beschwerdegegnerin zurückgewiesen.
3.2. Der Beschwerdeführer rügt die Verletzung des Anspruchs auf rechtliches Gehör. Strittig und zu prüfen ist weiter die Beweiskraft der beiden MEDAS-Gutachten vom 15. Juni 2016 und 5. Februar 2018. Sodann bestreitet der Beschwerdeführer den von der Vorinstanz auf September 2019 festgesetzten Zeitpunkt der Verschlechterung des Gesundheitszustandes. Schliesslich verlangt er einen Abzug vom Tabellenlohn in der Höhe von 25 % und macht eventualiter die Unverwertbarkeit der Resterwerbsfähigkeit geltend.
4.
Eine sachgerechte Anfechtung des vorinstanzlichen Entscheids war möglich; es kann somit nicht von einer Verletzung der Begründungspflicht resp. des Anspruchs auf rechtliches Gehör gesprochen werden (vgl. BGE 142 III 433 E. 4.3.2 S. 436 mit Hinweisen).
5.
Auf die im angefochtenen Entscheid korrekt dargelegten Rechtsgrundlagen wird verwiesen.
6.
6.1. Alleine gestützt auf bildgebende Befunde am Bewegungsapparat können keine Aussagen zum Gesundheitszustand einer versicherten Person gemacht werden. Relevant sind vielmehr die Erkenntnisse aus der klinischen Untersuchung (vgl. Urteil 9C_470/2017 vom 29. Juni 2018 E. 3.2 mit Hinweisen). Hinsichtlich der Klinik wird vom Beschwerdeführer mehrfach bekräftigt und ist damit unstrittig, dass es nach den Begutachtungen durch die MEDAS zu einer Exazerbation der Schmerzen an der rechten Körperhälfte respektive zu progredienten Schulterbeschwerden rechts gekommen ist, weshalb er im Herbst 2019 an eine Fachklinik überwiesen wurde. Entgegen seiner Ansicht sind die Berichte vom Oktober und November 2019 daher nicht geeignet, Zweifel an der Beweiskraft der MEDAS-Gutachten zu erwecken.
6.2. Die vorinstanzliche Feststellung, wonach dem psychiatrischen Gutachter keine wesentlichen, vom behandelnden Psychiater genannten Aspekte entgangen seien (vorinstanzliche Erwägungen 4.4 f. S. 13), ist unbestritten. Die Berichte der behandelnden Fachärzte sind somit nicht geeignet, Zweifel an der Beweiskraft der psychiatrischen Teilgutachten zu erwecken. Weiterungen erübrigen sich.
6.3. Soweit der Beschwerdeführer schliesslich geltend macht, die Berichte aus dem Jahre 2019 würden Zweifel an der Aktualität der MEDAS-Gutachten erwecken, zielt sein Vorbringen ins Leere: So hat die Vorinstanz diesen Umstand angemessen gewürdigt, indem sie die Sache aufgrund der Berichte an die Beschwerdegegnerin zurückgewiesen hat zwecks weiterer Abklärungen des Rentenanspruchs ab 1. September 2019.
6.4. Zusammenfassend ist damit festzuhalten, dass das kantonale Gericht den beiden MEDAS-Gutachten vom 15. Juni 2016 und 5. Februar 2018 zu Recht Beweiskraft zuerkannt hat.
7.
Entgegen der Ansicht des Beschwerdeführers ist es keineswegs willkürlich, den Zeitpunkt der gesundheitlichen Verschlechterung gestützt auf seine eigenen Angaben hierzu zu bestimmen. So ist er als Erster in der Lage, diese Frage zu beantworten.
Die Feststellungen der Vorinstanz, wonach eine Verschlechterung des Gesundheitszustandes im September 2019 eingetreten sei und vom 1. Juli 2016 bis Ende August 2019 von der in den MEDAS-Gutachten festgestellten Arbeitsfähigkeit von 80 % in leidensangepasster Tätigkeit auszugehen sei, ist somit weder offensichtlich unrichtig noch das Ergebnis einer Rechtsverletzung. Auf weitere Abklärungen durfte in zulässiger antizipierter Beweiswürdigung (BGE 136 I 229 E. 5.3 S. 236; 124 V 90 E. 4b S. 94) und damit ohne Verletzung des Untersuchungsgrundsatzes verzichtet werden.
8.
8.1. Ob ein leidensbedingter Abzug vom Tabellenlohn vorzunehmen ist, stellt eine vom Bundesgericht frei überprüfbare Rechtsfrage dar. Dagegen ist die Höhe des (im konkreten Fall grundsätzlich angezeigten) Abzugs eine Ermessensfrage und somit letztinstanzlich nur bei Ermessensüberschreitung, -missbrauch oder -unterschreitung korrigierbar (BGE 137 V 71 E. 5.1 S. 72f.; Urteil 9C_421/2017 vom 19. September 2017 E. 2.1.2).
8.2. Das kantonale Gericht hat (unter Bezugnahme auf die relevanten Merkmale) begründet, weshalb es einen Abzug von 10 % vom Tabellenlohn für gerechtfertigt erachtet (vorinstanzliche Erwägung 5.3.4 S. 17). Eine Ermessensausübung hat somit stattgefunden. Indem der Beschwerdeführer der vorinstanzlichen Würdigung seine eigene Ansicht gegenüberstellt, ist noch nicht dargetan, inwiefern das kantonale Gericht sein Ermessen mit Blick auf sämtliche relevanten Merkmale geradezu rechtsmissbräuchlich angewendet haben soll. Den aktuellen Beschwerden wird schliesslich im Rahmen der Rückweisung und des in diesem Zusammenhang zu ermittelnden Invaliditätsgrades Rechnung zu tragen sein.
9.
Auf die im Übrigen rein appellatorische Kritik am vorinstanzlichen Entscheid ist nicht einzugehen (vgl. BGE 144 V 50 E. 4.2 S. 53 mit Hinweisen). Gleiches gilt für die ungenügend begründeten Vorbringen (Art. 42 Abs. 1 und 2 BGG, BGE 144 V 173 E. 3.2.2 S. 178 mit weiteren Hinweisen) und diejenigen, welche an der Sache vorbeigehen.
10.
Die Beschwerde ist unbegründet.
11.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 Satz 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz, Kammer I, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. Dezember 2020
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Nünlist