Sachverhalt:
A.
A.a. Der 1984 geborene A._ meldete sich am 8. September 2010 bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf ein polydisziplinäres Gutachten der Swiss Medical Assessment- and Business-Center AG (SMAB), Bern, vom 7. Januar 2015 verneinte die IV-Stelle des Kantons Aargau einen Anspruch auf Invalidenrente (Verfügung vom 25. Juni 2015). Das Versicherungsgericht des Kantons Aargau bestätigte diese Verfügung auf Beschwerde hin mit Entscheid vom 20. Januar 2016.
A.b. Am 15. März 2019 ersuchte A._ die Invalidenversicherung erneut um Leistungen. Nachdem diese die eingereichten Akten ihrem Regionalen Ärztlichen Dienst (RAD) vorgelegt hatte, stellte sie mit Vorbescheid vom 27. September 2019 in Aussicht, auf das Leistungsbegehren nicht einzutreten. A._ erhob hiergegen keine Einwände, worauf die IV-Stelle wie vorbeschieden auf das neue Leistungsgesuch nicht eintrat, da eine Verschlechterung des Gesundheitszustands nicht glaubhaft gemacht sei (Verfügung vom 6. November 2019).
B.
Die dagegen erhobene Beschwerde wies das Versicherungsgericht mit Entscheid vom 4. Juni 2020 ab.
C.
A._ lässt hiergegen Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des vorinstanzlichen Entscheids sei auf die Neuanmeldung vom 15. März 2019 einzutreten.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen hat auf eine Stellungnahme verzichtet.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
2.1. Prozessthema bildet die Frage, ob die Vorinstanz die Verfügung vom 6. November 2019 zu Recht bestätigt hat, wonach die Beschwerdegegnerin nach Verneinung des Anspruchs auf eine Invalidenrente mit Verfügung vom 25. Juni 2015 nicht auf die im März 2019 eingereichte Neuanmeldung eingetreten ist.
2.2. Wurde eine Rente wegen eines zu geringen Invaliditätsgrades verweigert, wird eine neue Anmeldung nur geprüft, wenn die gesuchstellende Person glaubhaft macht, dass sich der Grad der Invalidität in einer für den Anspruch erheblichen Weise geändert hat (Art. 87 Abs. 2 und 3 IVV).
2.3. Bei der Frage des Vorliegens eines Revisionsgrundes im Sinne einer Verschlechterung des Gesundheitszustandes im Besonderen kommt es einzig darauf an, ob sich das Beschwerdebild oder dessen erwerbliche Auswirkungen geändert haben (Urteil 9C_894/2015 vom 25. April 2016 E. 5.2). In Betracht fällt somit auch, wenn sich ein Leiden in seiner Intensität und in seinen Auswirkungen auf die Arbeitsfähigkeit verändert hat (Urteil des Eidg. Versicherungsgerichts I 212/03 vom 28. August 2003 E. 2.2.3), wie etwa bei der Chronifizierung psychischer Störungen (<ref-ruling> E. 6.2 S. 70; Urteil des Eidg. Versicherungsgerichts I 345/88 vom 27. Dezember 1988, in: ZAK 1989 S. 265), bzw. wenn der Schweregrad oder die Ausprägung der gleichlautenden Diagnosen und Befunde sich geändert haben (Urteil 9C_286/2009 vom 28. Mai 2009 E. 3.2.2). Weder eine im Vergleich zu früheren ärztlichen Einschätzungen ungleich attestierte Arbeitsunfähigkeit noch eine unterschiedliche diagnostische Einordnung des geltend gemachten Leidens genügt somit per se, um auf einen veränderten Gesundheitszustand zu schliessen; notwendig ist vielmehr eine veränderte Befundlage (SVR 2012 IV Nr. 18 S. 81, 9C_418/2010 E. 4.2; Urteil 9C_346/2019 vom 6. September 2019 E. 2.1.1 mit weiteren Hinweisen).
Grundsätzlich erst in einem zweiten Schritt im Rahmen der materiellen Behandlung der Neuanmeldung zu prüfen ist, inwiefern bei einem psychischen Leiden IV-fremde psychosoziale und soziokulturelle Belastungsfaktoren eine Rolle spielen (vgl. <ref-ruling> E. 6.2 S. 70), ebenso, ob es voraussichtlich von längerer Dauer oder behandelbar ist.
2.4. Unter Glaubhaftmachen im Sinne von <ref-law> ist nicht der Beweis nach dem im Sozialversicherungsrecht allgemein massgebenden Grad der überwiegenden Wahrscheinlichkeit zu verstehen. Die Beweisanforderungen sind vielmehr herabgesetzt, indem nicht im Sinne eines vollen Beweises die Überzeugung der Verwaltung begründet zu werden braucht, dass seit der letzten, rechtskräftigen Entscheidung tatsächlich eine relevante Änderung eingetreten ist. Es genügt, dass für den geltend gemachten rechtserheblichen Sachumstand wenigstens gewisse Anhaltspunkte bestehen, auch wenn durchaus noch mit der Möglichkeit zu rechnen ist, bei eingehender Abklärung werde sich die behauptete Sachverhaltsänderung nicht erstellen lassen (Urteile 8C_647/2019 vom 31. Januar 2020 E. 2.2 und 8C_746/2013 vom 10. Juni 2014 E. 2 mit Hinweisen, in: SVR 2014 IV Nr. 33 S. 121). Bei der Glaubhaftmachung (einer Tatsachenänderung im massgeblichen Vergleichszeitraum) als Beweismass geht es um eine frei überprüfbare Rechtsfrage. Ob der erforderliche Beweisgrad erreicht ist, stellt dagegen eine Tatfrage dar (vgl. <ref-ruling> E. 3b S. 222; vgl. E. 1 hiervor).
2.5. Im Verfahren der Neuanmeldung kommt der Untersuchungsgrundsatz (Art. 43 Abs. 1 bzw. <ref-law>) erst zum Tragen, nachdem die versicherte Person eine massgebliche Änderung ihres Gesundheitszustands seit der letzten rechtskräftigen Leistungsverweigerung glaubhaft gemacht hat (<ref-ruling> E. 5.2.5 S. 68 f.; Urteil 9C_353/2017 vom 25. Juli 2017 E. 2).
3.
3.1. Die Vorinstanz erwog, die rentenverneinende Verfügung vom 25. Juni 2015 habe auf dem polydisziplinären SMAB-Gutachten vom 7. Januar 2015 basiert. Damit sei beim Beschwerdeführer mit Auswirkung auf die Arbeitsfähigkeit eine Minderbelastbarkeit des rechten Schultergelenks nach diagnostischer Arthroskopie, Refixation des Bizepssehnenankers und der SLAP-Läsion vom 24. Mai 2013 festgestellt worden. Für körperlich leichte Tätigkeiten mit Heben und Tragen bis zehn Kilogramm (mit Vermeidung von permanenten Tätigkeiten in und über Kopfhöhe) sowie ohne hohe emotionale Belastung sei er vollständig arbeitsfähig gewesen.
Die Vorinstanz führte weiter aus, in den mit der Neuanmeldung eingereichten Berichten der Klinik B._ vom 15. März und 15. Mai 2019 werde eine erhebliche Verschlechterung des Gesundheitszustands in somatischer und psychischer Hinsicht beschrieben. Die Omarthrose und die Chondromalazie hätten sich gemäss den behandelnden Ärzten deutlich verstärkt, was die Einsatzfähigkeit des rechten Armes drastisch verschlechtert und zu einer Überlastung des linken Armes geführt habe. Ferner werde in diesen Berichten auf eine psychiatrische Evaluation (durch den Psychiater Dr. med. C._) verwiesen. Danach leide der Beschwerdeführer an einer mittelschweren Depression und an einer komplexen posttraumatischen Belastungsstörung sowie an einem mangelnden Selbstwertgefühl bei psychischer Misshandlung und emotionaler Vernachlässigung (Bericht vom 3. Oktober 2018). Das kantonale Gericht folgte der Ansicht des Regionalen Ärztlichen Dienstes (RAD), welcher zu diesen Berichten Stellung genommen hatte. Das Gericht führte aus, die RAD-Ärztin Dr. med. D._, Fachärztin für Chirurgie und Traumatologie, verneine überzeugend eine Verschlechterung des Gesundheitszustands aus orthopädischer Sicht (versicherungsmedizinische Beurteilung vom 9. August 2019). Gemäss Stellungnahme des RAD-Arztes Dr. med. E._, Facharzt für Psychiatrie und Psychotherapie, vom 18. November 2019 seien ferner die Diagnosen eines mittelschweren depressiven Zustandsbildes (ICD-10 F33.1) und einer komplexen posttraumatischen Belastungsstörung (ICD-10 F43.1) nicht begründet bzw. nicht hergeleitet worden Gestützt auf diese Darlegungen des RAD verneinte die Vorinstanz das Vorliegen hinreichender Anhaltspunkte für eine psychische und somatische Verschlechterung.
3.2. Der Beschwerdeführer bringt dagegen vor, bereits zum Zeitpunkt des Entscheids des Versicherungsgerichts vom 20. Januar 2016 sei festgestellt worden, dass nach Erlass der Verfügung vom 25. Juni 2015 eine mittelgradig depressive Episode vorgelegen habe. Da das Versicherungsgericht jedoch nur über den bis zur Verfügung verwirklichten Sachverhalt zu befinden gehabt habe (vgl. <ref-ruling> E. 6.1.1 S. 232; <ref-ruling> E. 3.1.1 S. 220 mit Hinweisen), sei dieser Umstand unbeachtet geblieben. Was die somatische Seite betreffe, habe die Klinik B._ den verschlechterten Zustand der rechten Schulter gestützt auf ein MRI vom 15. Februar 2018 mit der je deutlich verschlimmerten Omarthrose und Chondromalazie begründet. Ferner sei eine erosive Typ-C-Corpus-Gastritis hinzugekommen. Der Beschwerdeführer befinde sich in einem kachektischen Zustand. Im Alltag sei er schwer eingeschränkt und brauche Hilfe durch seine Partnerin, eine ausserhäusliche Tätigkeit sei vollkommen unmöglich geworden. In psychischer Hinsicht sei er in einer EMDR- (Eye Movement Desensitization and Reprocessing) -Behandlung. Ein weiterer Bericht der Klinik B._ vom 19. November 2019 halte eine akute Exazerbation der rechtsseitigen Omarthrose fest. Radiologisch sei ein neuer Befund mit deutlicher Chondromalazie Grad II glenodial und Grad III-IV zentral humeral zusätzlich zu einer Tendinose der Supraspinatussehne und Bursitis subdeltoidea erhoben worden. Anhand dieser drei Berichte der Klinik B._ sei eine Verschlechterung im Sinne der Rechtsprechung zumindest glaubhaft gemacht. Die abweichende Würdigung der Vorinstanz verletze in willkürlicher Weise Bundesrecht.
4.
4.1.
4.1.1. Der Beschwerdeführer wirft der Vorinstanz überspitzten Formalismus (<ref-law>) vor, da sie den beschwerdeweise angerufenen Bericht der Klinik B._ vom 19. November 2019 als unbeachtlich bezeichnet habe, weil er nach Ablauf der bis 24. Mai 2019 von der Verwaltung angesetzten Frist zur Einreichung weiterer Dokumente zu den Akten gegeben worden sei Damit dringt er nicht durch, wie sich aus dem Nachfolgenden ergibt.
4.1.2. Wird im Revisionsgesuch oder in der Neuanmeldung kein Eintretenstatbestand glaubhaft gemacht, sondern bloss auf ergänzende Beweismittel, insbesondere Arztberichte, hingewiesen, die noch beigebracht würden oder von der Verwaltung beizuziehen seien, ist der versicherten Person eine angemessene Frist zur Einreichung der Beweismittel anzusetzen. Diese Massnahme setzt voraus, dass die ergänzenden Beweisvorkehren geeignet sind, den entsprechenden Beweis zu erbringen. Sie ist mit der Androhung zu verbinden, dass ansonsten gegebenenfalls auf Nichteintreten zu erkennen sei (<ref-ruling> E. 5.2.5 S. 69). Kommt die Verwaltung auf die von ihr gesetzte Frist zur Einreichung von Beweismitteln zurück, sind die nachträglich eingereichten und im Verwaltungsverfahren miteinbezogenen Arztberichte im Beschwerdefall auch im kantonalen sowie im letztinstanzlichen Prozess zu berücksichtigen (Urteile 8C_892/2008 vom 23. Januar 2009 E. 3 und I 619/04 vom 10. Februar 2005 E. 2.2).
4.1.3. Der Bericht vom 19. November 2019 erging nicht nur nach der bis 24. Mai 2019 von der IV-Stelle gewährten Frist zur Einreichung weiterer Dokumente zur Glaubhaftmachung der behaupteten gesundheitlichen Verschlechterung, sondern auch nach Erlass der Verfügung vom 6. November 2019. Der Vergleichszeitraum für die Frage, ob eine rentenrelevante Veränderung des Sachverhalts glaubhaft ist, erstreckt sich grundsätzlich bis zur Prüfung und Beurteilung des Gesuchs, d.h. bis zum Erlass der Verfügung betreffend die Neuanmeldung (<ref-ruling> E. 2.3 S. 73 und E. 3.2.4 S. 77; 64 E. 2 und 3 S. 66). Für die beschwerdeweise Überprüfung einer Nichteintretensverfügung ist somit der Sachverhalt, wie er sich der Verwaltung bot, resp. die Aktenlage bei Erlass dieser Verfügung massgeblich (<ref-ruling> E. 5.2.5 S. 68; Urteil 8C_256/2019 vom 23. August 2019 E. 1.3 mit Hinweis). Selbst wenn sich der Bericht vom 19. November 2019 auf den Sachverhalt im Verfügungszeitpunkt bezogen haben mochte, fällt insofern eine Ergänzung der Aktenlage im Rahmen des auf eine Nichteintretensverfügung folgenden Beschwerdeverfahrens ausser Betracht. Somit ist dem vorinstanzlichen Standpunkt zu folgen, dass der Bericht vom 19. November 2019 unbeachtlich zu bleiben hat (vgl. <ref-law>). Innert Frist eingereicht wurden hingegen die Berichte der Klinik B._ vom 15. März und 15. Mai 2019 (mit Beilagen weiterer Arztberichte und Abklärungen), die die Vorinstanz denn auch in ihre Würdigung miteinbezogen hat.
4.2.
4.2.1. Zutreffend ist zwar der Einwand des Beschwerdeführers, dass in der kreisärztlichen Stellungnahme vom 9. August 2019 nicht direkt auf die Berichte der Klinik B._ eingegangen worden sei. Diese enthalten zur Begründung der Verschlechterung des Gesundheitszustands - nebst anamnestischen Angaben zu den Einschränkungen des Beschwerdeführers im Alltag - aber einzig Verweise auf die beigelegten Abklärungs- und Arztberichte. Eine eigene klinische Befunderhebung (mit anschliessender Diagnosestellung) führten die Ärzte darin nicht auf. Daher ist es aus beweisrechtlicher Sicht nicht zu beanstanden, wenn die RAD-Ärztin Dr. med. D._ die Berichte der Klinik B._ in ihrer Beurteilung nicht direkt erwähnte, sich jedoch mit den Beilagen derselben einlässlich auseinandersetzte. Darin legte sie - wie von der Vorinstanz nicht offensichtlich unrichtig festgestellt worden ist - schlüssig dar, dass sich die Schulterproblematik seit der letzten Begutachtung im Jahr 2015 (vgl. orthopädisches SMAB-Teilgutachten vom 7. Januar 2015) nicht rentenrelevant verändert hat. Bereits dannzumal war die rechte Schulter nach den gutachterlichen Darlegungen nicht wesentlich belastbar. Die aktive Beweglichkeit wurde eingeschränkt demonstriert, die passive Beweglichkeit war frei und ohne reflektorische Gegenspannung. Ein Zeichen für eine Gebrauchsminderung der rechten oberen Extremität war nicht erkennbar. Hinsichtlich der Ober- und Unterarmmuskulatur zeigten sich keine wesentlichen Seitendifferenzen und keine trophischen Störungen. Das Röntgenbild enthielt sehr diskrete Zeichen. Dr. med. D._ verglich diese Befunde mit jenen, wie sie Dr. med. F._, Fachärztin für Orthopädie, Manuelle Medizin, Akupunktur, anlässlich einer am 30. Oktober 2018 durchgeführten Untersuchung erhob. Danach sei das Relief der Rotatorenmanschette relativ symmetrisch, ebenso das Deltoid-Relief. Die Beweglichkeit der linken Schulter sei frei, rechts in Abduktion, Anteversion und Retroversion endgradig eingeschränkt und schmerzhaft. Muskelatrophien seien nicht beschrieben worden. Dr. med. D._ schloss hieraus, wie die Vorinstanz bereits festhielt, auf ein seitengleiches Einsetzen beider Schultern. Die drastische Verschlechterung der Einsatzfähigkeit des rechten Armes, wie die Klinik B._ insbesondere gestützt hierauf postulierte (Bericht vom 15. März 2019), verneinte die RAD-Ärztin demgemäss nachvollziehbar. Zu diesen Feststellungen der Vorinstanz erhebt der Beschwerdeführer keinerlei substanzielle Einwendungen.
4.2.2. In Bezug auf die psychische Symptomatik bringt der Beschwerdeführer korrekt vor, dass sich der RAD-Arzt Dr. med. E._, Facharzt für Psychiatrie und Psychotherapie, anlässlich seiner Beurteilung vom 19. September 2019 explizit nur auf den Bericht der Klinik B._ vom 15. Mai 2019 bezog. Nachdem die Ärzte im Bericht vom 15. Mai 2019 auf die ausführliche Schilderung einer verschlechterten Gesundheit im Bericht vom 15. März 2019 verwiesen, lässt sich aber aus jenem nichts zugunsten des Beschwerdeführers gewinnen. Das kantonale Gericht hielt hierzu zutreffend fest, dass sich die Ärzte bezüglich der in den beiden Berichten erwähnten psychischen Leiden auf den mit Schreiben vom 15. Mai 2019 nachgereichten Bericht des Dr. med. C._ vom 3. Oktober 2018 stützten. Es erwog hierzu, dass der Psychiater zum einen die Diagnosen nicht hergeleitet habe und zum andern eine posttraumatische Belastungsstörung im SMAB-Gutachten nicht diagnostiziert worden sei. Dabei spiele es keine Rolle, ob die posttraumatische Belastungsstörung auf die geschilderten Kindheitserfahrungen des Beschwerdeführers oder auf das von ihm erwähnte Schütteltrauma, das sein Kind erlitten habe, zurückgeführt würde. Diese Feststellungen sind bundesrechtskonform. Denn soweit Dr. med. C._ in seinem Bericht vom 3. Oktober 2018 zu einer anderen Einschätzung als die SMAB-Gutachter kam, handelt es sich lediglich um eine unterschiedliche Schlussfolgerung des bereits im Zeitpunkt der Verfügung vom 25. Juni 2015 gegebenen Sachverhalts, was keine erhebliche Veränderung zu begründen vermag (Urteil 9C_838/2011 vom 28. Februar 2012 E. 3.3.2 mit Hinweisen). Bezüglich der depressiven Erkrankung hielt die Vorinstanz willkürfrei fest, dass sich dem Bericht des Dr. med. C._ kaum diagnoserelevante Befunde entnehmen liessen. Zum Hinweis in den beiden Berichten der Klinik B._ auf die verschlechterte Situation in der Alltagsbewältigung aufgrund der schulterbezogenen Einschränkungen erwog die Vorinstanz, dass sich die subjektiven (Schmerz) schilderungen nicht mit der objektivierten Befundlage deckten. Auch diese Würdigung des kantonalen Gerichts ist mit Blick auf die Aktenlage bundesrechtskonform.
4.3. Die Vorinstanz durfte daher die Stellungnahmen der RAD-Ärzte als schlüssige medizinische Entscheidgrundlage betrachten. Damit vermag der Beschwerdeführer insgesamt nicht darzutun, dass die vorinstanzlichen Feststellungen zur Glaubhaftigkeit einer Verschlechterung seines Gesundheitszustandes anhand der Berichte, die von der IV-Stelle und vom kantonalen Gericht rechtsprechungsgemäss zu berücksichtigen waren, offensichtlich unrichtig wären. Der angefochtene Entscheid hält damit vor Bundesrecht stand.
5.
Das Verfahren ist kostenpflichtig. Die Gerichtskosten werden dem Beschwerdeführer als unterliegende Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, 2. Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. Dezember 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla