Sachverhalt:
A.
Der 1961 geborene A._ meldete sich am 5. April 2012 erstmals bei der Eidgenössischen Invalidenversicherung (IV) zum Leistungsbezug an. Die IV-Stelle Solothurn tätigte daraufhin Abklärungen. Mit Verfügung vom 20. Januar 2014 wies sie den Anspruch auf weitere berufliche Eingliederungsmassnahmen sowie eine Invalidenrente ab.
Am 8. Mai 2019 stellte der Versicherte unter Hinweis auf psychische und somatische Beschwerden erneut ein Leistungsbegehren bei der IV. Zuletzt war er bei der Stiftung B._ als Pflegehelfer angestellt, wobei ihm das Anstellungsverhältnis im September 2018 per Ende Dezember 2018 gekündigt worden war. Die IV-Stelle leitete in der Folge wiederum Abklärungen in die Wege. Sie zog insbesondere die Akten der Krankentaggeldversicherung, darunter das von dieser eingeholte psychiatrische Gutachten von Dr. med. C._, Facharzt für Psychiatrie und Psychotherapie sowie Pharmazeutische Medizin, vom 31. Dezember 2018 sowie die Berichte der behandelnden Fachärzte bei. Nach weiteren Erhebungen und Durchführung des Vorbescheidverfahrens lehnte die IV-Stelle das Gesuch mit Verfügung vom 16. November 2020 ab.
B.
Die hiergegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Urteil vom 12. Juli 2021 ab.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, die Sache sei unter Aufhebung des angefochtenen Urteils sowie der Verfügung vom 16. November 2020 an die Vorinstanz, eventualiter an die Beschwerdegegnerin, zwecks Erhebung des relevanten medizinischen Sachverhaltes zurückzuweisen.
Die Beschwerdegegnerin und das Bundesamt für Sozialversicherungen (BSV) verzichten auf eine Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Indes prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (vgl. Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1).
2.
2.1. Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzt hat, indem es ohne weitere Abklärungen über das Leistungsgesuch des Beschwerdeführers entschieden hat.
2.2.
2.2.1. Die für die Beurteilung der Streitsache massgeblichen rechtlichen Grundlagen wurden im angefochtenen Entscheid zutreffend dargelegt. Es betrifft dies insbesondere die Bestimmungen und Grundsätze zur Invalidität (<ref-law>, <ref-law>; Art. 6 f. ATSG), zum Rentenanspruch (<ref-law>) sowie zur Ermittlung des Invaliditätsgrades bei erwerbstätigen Versicherten (vgl. <ref-law>) nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>). Gleiches gilt hinsichtlich der im Zusammenhang mit einer Neuanmeldung geltenden Grundsätze (<ref-law>, Art. 86ter -88 bis IVV; <ref-ruling> E. 3 mit Hinweisen; <ref-ruling>; Urteil 9C_541/2020 vom 1. März 2021 E. 2.1 mit Hinweisen), der (insbesondere auch diesbezüglichen) Beweiskraft medizinischer Grundlagen (<ref-ruling> E. 4.4; <ref-ruling> E. 3a und 3b; je mit Hinweisen; Urteile 9C_580/2018 vom 14. November 2018 E. 4.1 und 8C_38/2013 vom 2. September 2013 E. 4.4.3, je mit Hinweisen) und dem Untersuchungsgrundsatz (<ref-law>). Darauf wird verwiesen.
2.2.2. Zu ergänzen ist Folgendes: Die Annahme einer Invalidität bedingt rechtsprechungsgemäss in jedem Fall ein medizinisches Substrat, das (fach-) ärztlicherseits schlüssig festgestellt wird und nachgewiesenermassen die Arbeits- und Erwerbsfähigkeit wesentlich beeinträchtigt. Je stärker psychosoziale oder soziokulturelle Faktoren im Einzelfall in den Vordergrund treten und das Beschwerdebild mitbestimmen, desto ausgeprägter muss eine fachärztlich festgestellte psychische Störung von Krankheitswert vorhanden sein. Das bedeutet, dass das klinische Beschwerdebild nicht einzig in Beeinträchtigungen, welche von den belastenden soziokulturellen Faktoren herrühren, bestehen darf, sondern davon psychiatrisch zu unterscheidende Befunde zu umfassen hat, zum Beispiel eine von depressiven Verstimmungszuständen klar unterscheidbare andauernde Depression im fachmedizinischen Sinne oder einen damit vergleichbaren psychischen Leidenszustand. Solche von der soziokulturellen Belastungssituation zu unterscheidende und in diesem Sinne verselbstständigte psychische Störungen mit Auswirkungen auf die Arbeits- und Erwerbsfähigkeit sind unabdingbar, damit überhaupt von Invalidität gesprochen werden kann. Wo der Gutachter dagegen im Wesentlichen nur Befunde erhebt, welche in den psychosozialen und soziokulturellen Umständen ihre hinreichende Erklärung finden, gleichsam in ihnen aufgehen, ist kein invalidisierender psychischer Gesundheitsschaden gegeben (<ref-ruling> E. 5a mit Hinweisen).
2.2.3. Zudem zu beachten gilt es, dass die Missachtung des Untersuchungsgrundsatzes und der Anforderungen an die Beweiskraft ärztlicher Berichte und Gutachten Rechtsfragen sind (Urteil 9C_899/2017 vom 9. Mai 2018 E. 2.1 mit Hinweisen).
3.
Das kantonale Gericht hat dem seitens der Krankentaggeldversicherung eingeholten psychiatrischen Gutachten von Dr. med. C._ vom 31. Dezember 2018 Beweiskraft zuerkannt und nach Prüfung der Indikatoren (<ref-ruling>) mit dem Facharzt auf eine 100%ige Arbeitsfähigkeit in jeglicher Tätigkeit seit April 2019 geschlossen. Es hat die somatische Situation gewürdigt und ist insgesamt von einer uneingeschränkten Arbeitsfähigkeit des Beschwerdeführers in leidensangepasster Tätigkeit seit April 2019 ausgegangen. In Anwendung des Einkommensvergleichs hat es einen Rentenanspruch verneint. Abschliessend hat es ausgeführt, berufliche Massnahmen würden nicht beantragt und es sei auch nicht ersichtlich, inwiefern solche angezeigt wären.
4.
Dr. med. C._ untersuchte den Beschwerdeführer am 4. Dezember 2018. Er schloss auf eine rezidivierende depressive Störung, aktuell mittelgradige Episode, teilweise remittiert. Er legte dar, es sei offensichtlich, dass das Krankheitsbild in Zusammenhang mit einer psychosozialen Belastungssituation stehe, konkret mit der (im September 2018 erfolgten) Kündigung des Anstellungsverhältnisses durch den Arbeitgeber. Der Facharzt führte weiter aus, eine fachärztliche Behandlung sei vorläufig weiterhin indiziert, vor allem mit Blick auf die vollständige Genesung respektive Rückfallvorbeugung. Angesichts eines teilweise rückläufigen klinischen Befundes sei die Arbeitsunfähigkeit nur noch vorübergehend bis längstens Ende März 2019 ausgewiesen. Spätestens ab April 2019 sei wieder eine vollständige Arbeitsfähigkeit in einer Tätigkeit umsetzbar, die mit dem letzten, inzwischen aufgelösten Arbeitsplatz vergleichbar sei (Gutachten S. 1 und 5).
4.1. Der Beschwerdeführer bestreitet im Wesentlichen die Beweiskraft der Einschätzung von Dr. med. C._ vom 31. Dezember 2018. Seine Rüge ist - wie nachfolgend aufzuzeigen - begründet:
Vorab fällt auf, dass der Psychiater den Beschwerdeführer nur rund zwei Monate nach der im September 2018 durch den ehemaligen Arbeitgeber des Beschwerdeführers ausgesprochenen Kündigung des Arbeitsverhältnisses untersuchte. Es erstaunt daher nicht, dass dieses Ereignis bei der Befunderhebung im Vordergrund stand. Die Einschätzung des medizinischen Sachverhaltes durch Dr. med. C._ ist zu kurz auf die Kündigung hin erfolgt, um aus invalidenversicherungsrechtlicher Sicht abschliessend beurteilen zu können, ob es sich beim erhobenen Befund um ein auf psychosoziale Belastungsfaktoren reaktives Geschehen oder um einen verselbstständigten Gesundheitsschaden handelt (e) (vgl. E. 2.2.2 hiervor).
Abklärungen hinsichtlich des weiteren Verlaufs wären sodann insbesondere auch mit Blick darauf angezeigt gewesen, dass Dr. med. C._ im Zeitpunkt seiner Erhebung erst von einem teilweise rückläufigen klinischen Befund ausging und gestützt hierauf eine Arbeitsunfähigkeit noch als ausgewiesen erachtete (Gutachten S. 5). Als Prognose schloss er ab spätestens April 2019 auf eine volle Arbeitsfähigkeit und damit (implizit) auf eine vollständige Remission der Symptomatik, wobei er hierzu die Weiterführung der bisherigen Therapie als indiziert erachtete. Aufgrund der rein prognostischen Angaben (insbesondere zum vorliegend massgeblichen Zeitraum: Neuanmeldung im Mai 2019, potenzieller Rentenanspruch ab 1. November 2019) genügt die Einschätzung von Dr. med. C._ nicht. Der Eintritt seiner Prognose hätte vielmehr überprüft werden müssen, was die Vorinstanz in Verletzung der Untersuchungspflicht (vgl. E. 2.2.1 hiervor) nicht veranlasst hat.
Schliesslich entbehrt die Stellungnahme von Dr. med. C._ jeglicher Angaben zum Beweisthema der erheblichen Änderung des (vorliegend medizinischen) Sachverhalts (vgl. E. 2.2.1 hiervor und Urteil 8C_54/2021 vom 10. Juni 2021 E. 2.3 mit Hinweisen), was ebenfalls einen Mangel darstellt. Auf Weiterungen kann verzichtet werden.
4.2. Indem die Vorinstanz der Einschätzung von Dr. med. C._ vom 31. Dezember 2018 Beweiskraft zuerkannt hat, hat sie Bundesrecht verletzt (vgl. E. 1 und 2.2.3 hiervor). Die Beschwerde ist begründet.
4.3. Mit Blick auf das Gesagte ist die Sache an die Beschwerdegegnerin zurückzuweisen. Diese hat den Beschwerdeführer umfassend begutachten zu lassen und hiernach einen neuen Entscheid zu erlassen.
5.
Hinsichtlich der Prozesskosten gilt die Rückweisung der Sache zu neuem Entscheid praxisgemäss als volles Obsiegen (statt vieler: <ref-ruling> E. 7.1; Urteil 9C_559/2019 vom 9. Dezember 2019 E. 7). Die Beschwerdegegnerin hat daher die Gerichtskosten zu tragen und dem Beschwerdeführer eine Parteientschädigung auszurichten (vgl. Art. 66 Abs. 1 Satz 1 und Art. 68 Abs. 1 BGG). Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons Solothurn zurückgewiesen (Art. 67 und 68 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Das Urteil des Versicherungsgerichts des Kantons Solothurn vom 12. Juli 2021 und die Verfügung der IV-Stelle Solothurn vom 16. November 2020 werden aufgehoben. Die Sache wird zu neuer Verfügung an die IV-Stelle Solothurn zurückgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons Solothurn zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 13. Dezember 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Nünlist