Sachverhalt:
A.
Ein erstes Leistungsbegehren des 1964 geborenen A._ aus dem Jahre 2010 wurde mit Verfügung vom 5. September 2017 (bestätigt durch den Entscheid des Versicherungsgerichts des Kantons Solothurn vom 28. September 2018) abschlägig beurteilt.
Mit Bericht vom 6. April 2019 bat der Hausarzt des Versicherten die IV-Stelle Solothurn unter Beilage weiterer medizinischer Unterlagen darum, die "neuen Erkenntnisse" zu "berücksichtigen". Nach Abklärungen - insbesondere Rücksprachen mit dem Regionalen Ärztlichen Dienst (RAD) - trat die IV-Stelle auf die als Neuanmeldung an die Hand genommene Eingabe mit Verfügung vom 10. Januar 2020 nicht ein.
B.
Die hiergegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 26. November 2020 ab, soweit es darauf eintrat.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, unter Aufhebung des angefochtenen Entscheids und der Verfügung vom 10. Januar 2020 sei die Beschwerdegegnerin anzuweisen, auf das Leistungsbegehren einzutreten und weitere medizinische Abklärungen vorzunehmen. Weiter sei die Beschwerdegegnerin zu verpflichten, ihm eine Invalidenrente in noch zu beziffernder Höhe auszurichten.

Erwägungen:
1.
1.1. Gegenstand des vorliegenden Verfahrens bildet einzig die Eintretensfrage. Auf den Antrag, die Beschwerdegegnerin sei zu verpflichten, dem Beschwerdeführer eine Invalidenrente in noch zu beziffernder Höhe auszurichten, ist daher mangels Anfechtungsgegenstandes nicht einzutreten (vgl. <ref-ruling> E. 1 S. 414 f.).
1.2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Sachverhaltsfeststellung der Vorinstanz kann es auf Rüge hin oder von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 105 Abs. 2 und Art. 97 Abs. 1 BGG).
2.
2.1. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie das am 10. Januar 2020 verfügte Nichteintreten der Beschwerdegegnerin auf die Neuanmeldung des Beschwerdeführers bestätigte.
2.2.
2.2.1. Wie vom kantonalen Gericht zutreffend dargelegt, wird die Neuanmeldung - wie auch das Gesuch um Leistungsrevision - nur materiell geprüft, wenn die versicherte Person glaubhaft macht, dass sich die tatsächlichen Verhältnisse seit der letzten rechtskräftigen Entscheidung in einem für den Rentenanspruch erheblichen Mass verändert haben (Art. 87 Abs. 3 in Verbindung mit Abs. 2 IVV; <ref-ruling> E. 2.2 S. 72 mit Hinweisen). Gelingt ihr dies nicht, so wird auf das Gesuch nicht eingetreten. Ist die anspruchserhebliche Änderung glaubhaft gemacht, ist die Verwaltung verpflichtet, auf das neue Leistungsbegehren einzutreten und es in tatsächlicher und rechtlicher Hinsicht umfassend zu prüfen (Urteil 8C_389/2018 vom 8. Januar 2019 E. 3.1 mit Hinweis); sie hat demnach in analoger Weise wie bei einem Revisionsfall nach <ref-law> vorzugehen (vgl. dazu <ref-ruling>).
Im Verfahren der Neuanmeldung kommt der Untersuchungsgrundsatz (Art. 43 Abs. 1 bzw. <ref-law>) erst zum Tragen, nachdem die versicherte Person eine massgebliche Änderung ihres Gesundheitszustands seit der letzten rechtskräftigen Leistungsverweigerung glaubhaft gemacht hat (<ref-ruling> E. 5.2.5 S. 68 f.; Urteil 9C_353/2017 vom 25. Juli 2017 E. 2).
2.2.2. Ob eine anspruchserhebliche Änderung nach <ref-law> glaubhaft gemacht ist, stellt eine vom Bundesgericht nur unter dem Blickwinkel von <ref-law> überprüfbare Tatfrage dar. Um eine Frage rechtlicher Natur handelt es sich hingegen, wenn zu beurteilen ist, wie hohe Anforderungen an das Glaubhaftmachen im Sinne von <ref-law> zu stellen sind (u.a. Urteil 8C_513/2017 vom 11. Januar 2018 E. 3.2 mit Hinweis).
3.
3.1. Im angefochtenen Entscheid wurde einlässlich erwogen, gestützt auf die Würdigung aller im Neuanmeldungsverfahren eingereichter Arztberichte sei festzuhalten, dass die Beschwerdegegnerin im Rahmen des ihr zustehenden Ermessens geblieben sei, als sie eine relevante gesundheitliche Verschlechterung seit der vorhergehenden Verfügung vom 5. September 2017 als nicht glaubhaft angesehen habe. Dies gelte auch dann, wenn man berücksichtige, dass seit dieser Verfügung mehr als zwei Jahre vergangen seien. Die Beschwerdegegnerin sei folglich auf die Neuanmeldung des Beschwerdeführers vom 6. April 2019 zu Recht nicht eingetreten, dies sowohl bezüglich der beruflichen Massnahmen als auch der Rente.
3.2. Die Rügen des Beschwerdeführers lassen diese vorinstanzliche Erkenntnis weder als qualifiziert unrichtig noch als Ergebnis einer Rechtsverletzung erscheinen (E. 1.2).
3.2.1. Was insbesondere die seitens Dr. med. B._, Facharzt für Oto-Rhyno-Laryngologie (ORL), am 2. April 2019 diagnostizierte Perzeptionsschwerhörigkeit beidseits betrifft, ist mit der Vorinstanz festzuhalten, dass keine (die Diagnose plausibilisierenden [vgl. <ref-ruling> E. 3a S. 352]) audiometrischen Messwerte erhoben wurden.
Im Übrigen besteht zwischen ärztlich gestellter Diagnose und Arbeitsunfähigkeit keine unmittelbare Korrelation. Massgebend sind vielmehr die konkreten funktionellen Auswirkungen auf das Leistungsvermögen der betroffenen Person (Urteil 9C_570/2018 vom 18. Februar 2019 E. 3.2.1 mit Hinweisen). Diesbezüglich sprach der Facharzt zusammenfassend von unauffälligen ORL-Befunden mit normaler Laryngoskopie. Damit zeitigte die Schwerhörigkeit im vorliegenden Fall keine konkreten funktionellen Auswirkungen auf das Leistungsvermögen des Beschwerdeführers und wäre daher - selbst bei nachvollziehbarer Diagnosestellung - nicht geeignet, eine Veränderung glaubhaft zu machen.
3.2.2. Hinsichtlich der Problematik an der Lendenwirbelsäule hat das kantonale Gericht sodann zu Recht festgehalten, dass der Bericht des Kantonsspitals C._ vom 4. Februar 2019 keine Angaben zu klinischen Befunden enthalte, es namentlich an einer schlüssigen klinischen Verifizierung eines radikulären Reiz- oder Ausfallsyndroms fehle. Entgegen der Ansicht des Beschwerdeführers handelt es sich bei der im Spital durchgeführten Magnetresonanztomographie nicht um Klinik, sondern um Bildgebung. Mit Blick auf die von der Vorinstanz korrekt wiedergegebene bundesgerichtliche Rechtsprechung (vgl. auch das Urteil 9C_89/2020 vom 18. Juni 2020 E. 4.6 mit Hinweisen) verletzt die Schlussfolgerung, dass der entsprechende Bericht nicht dazu tauge, eine relevante Veränderung glaubhaft zu machen, kein Bundesrecht. Weiterungen erübrigen sich.
3.2.3. Am Gesagten vermag auch der Zeitablauf seit Verfügungserlass am 5. September 2017 nichts zu ändern. Die angerufenen Berichte eignen sich eindeutig nicht dazu, eine Veränderung glaubhaft zu machen. Die Beschwerde ist unbegründet.
4.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. März 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Nünlist