Sachverhalt:
A.
Der 1960 geborene, zuletzt als Produktionsmitarbeiter bei der B._ AG tätige A._ meldete sich im November 2015 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zug tätigte daraufhin verschiedene Abklärungen, insbesondere liess sie den Versicherten, nachdem dieser gegen den Vorbescheid vom 16. Februar 2017 Einwände erhoben hatte, begutachten (Expertise der Ärztliches Begutachtungsinstitut (ABI) GmbH, Basel, vom 6. März 2018). Die psychiatrische Einschätzung wurde von A._ kritisiert und vom Regionalen Ärztlichen Dienst (RAD) als nicht überzeugend eingestuft, weshalb die Verwaltung eine neue Begutachtung veranlasste (Gutachten des Dr. med. C._, Facharzt für Psychiatrie und Psychotherapie, vom 14. Dezember 2018). Mit dieser gutachterlichen Beurteilung war der Versicherte nicht einverstanden und reichte ein Privatgutachten des Dr. med. D._ vom 22. April 2019 ein. Dazu äusserte sich Dr. med. C._ am 4. Juni 2019, woraufhin der Versicherte eine vom 3. September 2019 datierende Stellungnahme des Dr. med. D._ einreichte. Nachdem sich der RAD am 26. September 2019 dafür ausgesprochen hatte, dem Gutachten des Dr. med. C._ zu folgen, verneinte die IV-Stelle mit Verfügung vom 14. November 2019 einen Rentenanspruch.
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug unter Berücksichtigung der eingereichten Arztberichte mit Urteil vom 16. August 2021 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des vorinstanzlichen Urteils sei die IV-Stelle zu verpflichten, ihm rückwirkend eine ganze Rente zu gewähren. Zudem sei die IV-Stelle zu verpflichten, die Kosten für das eingereichte Privatgutachten vom 1. April 2019 (recte: 22. April 2019) samt Stellungnahme vom 3. September 2019 von Fr. 7450.- zu ersetzen. Eventualiter sei die Sache zwecks Einholung eines Gutachtens an die Vorinstanz, subeventualiter an die IV-Stelle zurückzuweisen.
Die IV-Stelle lässt auf Abweisung der Beschwerde schliessen. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 4.2 mit Hinweis). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2.
2.1. Streitig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie in Bestätigung der Verfügung der Beschwerdegegnerin vom 14. November 2019 einen Rentenanspruch des Beschwerdeführers verneinte.
2.2. Im angefochtenen Urteil wurden der Begriff der Invalidität (<ref-law> in Verbindung mit Art. 7 f. ATSG), die Voraussetzungen des Anspruchs auf eine Invalidenrente (<ref-law> in der hier massgebenden und bis zum 31. Dezember 2021 gültigen Fassung; <ref-ruling> E. 1 mit Hinweisen) sowie zum Beweiswert von ärztlichen Berichten und Gutachten (<ref-ruling> E. 5.1; <ref-ruling> E. 3a) zutreffend dargelegt. Ebenso korrekt sind die vorinstanzlichen Ausführungen zum Einkommensvergleich (<ref-law>). Darauf wird verwiesen.
3.
3.1. Das kantonale Gericht verneinte eine Verletzung des Anspruchs auf rechtliches Gehör, da die dem Beschwerdeführer möglicherweise nicht zugestellte Stellungnahme des RAD vom 26. September 2019 nicht entscheidend gewesen sei. Ferner wäre eine allfällige Verletzung dieses Anspruchs geheilt, habe sich der Beschwerdeführer im Beschwerdeverfahren doch mehrfach äussern können. Betreffend den psychiatrischen Gesundheitszustand des Beschwerdeführers kam die Vorinstanz zum Schluss, die gutachterliche Einschätzung des Dr. med. C._ sei überzeugend und nachvollziehbar. Das Privatgutachten des Dr. med. D._ vermöge keine Zweifel an der Beweiskraft zu begründen. Es sei auf die Expertise des Dr. med. C._ abzustellen. Weiter stellte das kantonale Gericht fest, der Sachverhalt sei auch in somatischer Hinsicht genügend abgeklärt. Die Vorinstanz ermittelte alsdann aufgrund einer vollen Arbeitsfähigkeit in einer leidensadaptierten Tätigkeit einen rentenausschliessenden Invaliditätsgrad.
3.2. Der Beschwerdeführer bringt vor, dass entgegen dem angefochtenen Urteil eine Gehörsverletzung vorliege. In materieller Hinsicht macht er geltend, dass mehrere Anhaltspunkte bestünden, welche erhebliche Zweifel an der Beurteilung des Dr. med. C._ erweckten, und sich das kantonale Gericht mit der im Parteigutachten vorgebrachten Kritik nicht hinreichend auseinandergesetzt habe. Der Beschwerdeführer ist zudem der Meinung, der Sachverhalt zum Somatischen müsse weiter abgeklärt werden. Abschliessend fordert er beim Einkommensvergleich seitens des Invalideneinkommens einen Abzug von mindestens 20 %.
3.3. Die Beschwerdegegnerin ist der Ansicht, eine Verletzung des rechtlichen Gehörs liege nicht vor. Zudem habe die Vorinstanz zu Recht auf das Gutachten des Dr. med. C._ abgestellt und die vorinstanzlichen Erwägungen zu den neuen somatischen Gesundheitsproblemen gäben keinen Anlass für Beanstandungen. Abschliessend legt die Beschwerdegegnerin dar, das kantonale Gericht habe zutreffend die Kriterien für einen Leidensabzug verneint.
4.
Der Beschwerdeführer macht zwar geltend, dass entgegen dem vorinstanzlichen Urteil eine Verletzung des Anspruchs auf rechtliches Gehör vorliege. Er setzt sich mit der weiteren Begründung des kantonalen Gerichts, dass eine allfällige Verletzung geheilt sei, jedoch nicht auseinander. Der Beschwerdeführer kommt somit seinen Begründungspflichten nicht nach (vgl. <ref-ruling> E. 2.4 mit Hinweisen). Im Ergebnis ist daher eine diesbezügliche Bundesrechtswidrigkeit des angefochtenen Urteils nicht ersichtlich.
5.
5.1. In einem nächsten Schritt ist zu prüfen, ob die Vorinstanz Bundesrecht verletzte, indem sie das Gutachten des Dr. med. C._ als beweiskräftig einstufte.
5.1.1. Dabei ist vorab festzuhalten, dass sich das kantonale Gericht mit den beiden Gutachten der Dres. med. C._ und D._ eingehend auseinandersetzte, was auch die folgenden Erwägungen mit Hinweisen auf die Ausführungen der Vorinstanz zeigen.
5.1.2. Der Beschwerdeführer rügt unter anderem, Dr. med. C._ habe die Beschwerden zu wenig erfragt und lediglich die Einschränkungen beim Liftfahren berücksichtigt. Die anderen Beispiele, welche die Angstsymptome zum Ausdruck bringen (beim Einkaufen oder Gottesdienst), habe er aber unterschlagen.
Wie die Vorinstanz festhielt, wurde der Beschwerdeführer von Dr. med. C._ an zwei verschiedenen Terminen untersucht. Dabei wurde der Beschwerdeführer in allgemeiner Weise nach seinen Beschwerden befragt und Dr. med. C._ hat zudem eine vertiefte Exploration zum aktuellen Leiden durchgeführt. Der Gutachter führte in diesem Zusammenhang etwa auch auf, dass der Beschwerdeführer Probleme beim Besuch einer Geburtstagseinladung oder beim Gottesdienst angegeben hatte. Auf der anderen Seite berücksichtigte Dr. med. C._ aber ebenso, dass der Beschwerdeführer die instruierten Atemübungen, um Angstattacken zu unterdrücken, nicht praktiziere und damit in Bezug auf die berichtete Agoraphobie sowie Panikstörung nur wenig Leidensdruck bestehe. Dr. med. C._ wies zudem darauf hin, dass der Beschwerdeführer einzig in Bezug auf das Liftfahren ein Vermeidungsverhalten zeige, wobei dieser auf das therapeutische Angebot nicht eingegangen sei, um dieses Verhalten zu überwinden. Zusammenfassend ist somit festzuhalten, dass der Gutachter Dr. med. C._ die geltend gemachten Beschwerden berücksichtigt hat und den Schweregrad (Leidensdruck) alsdann kritisch prüfte. Vor diesem Hintergrund lässt sich der Vorhalt des Beschwerdeführers, Dr. med. C._ habe die Beschwerden nicht hinreichend untersucht, nicht halten.
5.1.3. Der Beschwerdeführer bringt weiter vor, entgegen der Vorinstanz habe Dr. med. C._ das ABI-Gutachten vom 6. März 2018, den Bericht der E._ AG, Klinik F._ vom 21. August 2017 und den Bericht des behandelnden Psychiaters Dr. med. G._ vom 5. September 2016 nicht hinreichend berücksichtigt. Zudem habe Dr. med. C._ hinsichtlich des letzten Klinikaufenthalts lediglich der provisorische Austrittsbericht der Klinik F._ vom 7. Februar 2019 vorgelegen, was nicht ausreichend sei.
Dem ist entgegenzuhalten, dass Dr. med. C._ im Aktenzusammenzug wie auch im Rahmen seiner medizinischen/versicherungsmedizinischen Beurteilung Bezug auf den Bericht der Klinik F._ vom 21. August 2017 über die Hospitalisation vom 29. Mai bis 17. August 2017, den Bericht des Dr. med. G._ vom 5. September 2016 und das ABI-Gutachten vom 6. März 2018 nahm. Dabei äusserte sich der Gutachter auch dazu, inwiefern er die in diesen Berichten gestellten Diagnosen bestätigen kann. Es ist festzuhalten, dass insoweit das Gutachten lege artis erstellt worden ist. Sodann stellt den Beweiswert des Gutachtens des Dr. med. C._ auch nicht in Frage, dass ihm der korrigierte definitive Austrittsbericht der Klinik F._ vom 7. Februar 2018 [recte: 7. Februar 2019] nicht vorlag. Denn er verfügte über einen provisorischen Austrittsbericht vom 7. Dezember 2018, führte mit den behandelnden Ärzten dieser Klinik im September/Oktober 2018 mehrere Telefongespräche und setzte sich mit den Diagnosen, insbesondere dem Vorliegen einer depressiven Störung - deren Schweregrad im provisorischen und definitiven Austrittsbericht der Klinik F._ divergent beurteilt wurde (leichte bzw. mittelgradige depressive Episode) - auseinander. Betreffend Depression ist auch keine relevante Unstimmigkeit zur Einschätzung des Parteigutachters auszumachen, stellte doch auch dieser fest, der Beschwerdeführer sei nicht depressiv und diagnostizierte keine eigenständige depressive Störung. Die Einschätzung des Dr. med. C._ beruht somit auf hinreichender Kenntnis und der Auseinandersetzung mit den massgebenden Vorakten.
5.1.4. Nichts zu seinen Gunsten kann der Beschwerdeführer ableiten, sofern er die vorinstanzlichen Ausführungen zur medikamentösen Therapie beanstandet. Denn massgebend ist, dass sich der Gutachter Dr. med. C._, auf dessen Einschätzung das vorinstanzliche Urteil beruht, mit der medikamentösen Behandlung des Beschwerdeführers im Zeitverlauf befasst hat und die Expertise damit auch in dieser Hinsicht den beweisrechtlichen Anforderungen genügt.
5.1.5. Der Beschwerdeführer führt weiter aus, der Parteigutachter Dr. med. D._ habe die angeblichen Inkonsistenzen nachvollziehbar erklärt.
Die Vorinstanz erwog dazu, Dr. med. D._ vermöge die von Dr. med. C._ aufgezeigten Inkonsistenzen nicht zu beseitigen. Dem Hinweis von Dr. med. D._, er habe wenig Vertrauen in Fremdbeobachtungen, hielt das kantonale Gericht entgegen, dass diese immerhin von Fachärzten und Mitarbeitern der Klinik F._ erhoben worden seien. Das kantonale Gericht kam gestützt darauf zum Schluss, Dr. med. D._ vermöge die Inkonsistenzen nicht wegzudiskutieren. Diese vorinstanzliche Erwägung ist überzeugend, können doch die von Fachpersonen erhobenen Beobachtungen während des vom 28. August bis 22. November 2018 dauernden Klinikaufenthalts wertvolle Erkenntnisse liefern (vgl. Urteile 9C_248/2017 vom 15. Februar 2018 E. 6.2.1, 9C_24/2008 vom 27. Mai 2008 E. 2). Entgegen dem Beschwerdeführer hat daher die kantonalgerichtliche Beweiswürdigung kein Bundesrecht verletzt und die Vorinstanz ist nicht in Willkür verfallen, indem sie mit Dr. med. C._ von Inkonsistenzen ausging. Daran ändert nichts, dass im definitiven Austrittsbericht der Klinik F._ der Hinweis fehlt, es sei kein ängstliches, phobisches und vermeidendes Verhalten beobachtet worden. Denn Gegenteiliges lässt sich dem definitiven Austrittsbericht auch nicht entnehmen. Vielmehr ist darauf hinzuweisen, dass in diesem Bericht keine generalisierte Angststörung diagnostiziert und explizit festgehalten wurde, der Beschwerdeführer habe keine Panikattacken erlebt. Der Einwand des Beschwerdeführers zeigt somit nicht auf, inwiefern die Einschätzung des Dr. med. C._ auf unrichtigen Angaben beruht.
5.1.6. Auch der Einwand des Beschwerdeführers, Dr. med. C._ habe die Diagnosen nicht korrekt hergeleitet, verfängt nicht. Die Vorinstanz legte zutreffend dar, dass Dr. med. C._ zu den diagnostischen Kriterien Stellung nahm. Es ist daher weder willkürlich noch mit Blick auf die Rechtsprechung zur Invalidität von psychischen Leiden (<ref-ruling>; <ref-ruling>) anderweitig bundesrechtswidrig, wenn die Vorinstanz angesichts der festgestellten Inkonsistenzen der Einschätzung des Dr. med. C._ folgte und eine invalidisierende psychiatrische Erkrankung, insbesondere in Form einer Agoraphobie mit Panikattacken, generalisierten Angststörung und chronischen Schmerzstörung mit somatischen und psychischen Faktoren verneinte.
5.2. Das kantonale Gericht hat zudem den Untersuchungsgrundsatz nicht verletzt, indem es keine weiteren somatischen Abklärungen aufgrund der vom Beschwerdeführer im Beschwerdeverfahren eingereichten Berichte veranlasst hat. Die Vorinstanz stellte zutreffend fest, dass sich keine von den psychischen Krankheitsbildern abgrenzbaren Symptome feststellen liessen. Es wird auf den Bericht des Spitals H._, Klinik für Hals, Nasen, Ohren, vom 26. Juni 2020 verwiesen, wonach in mehreren klinischen Untersuchungen jeweils kein sicherer Hinweis für eine manifeste peripher-vestibuläre Störung gefunden worden sei.
5.3. Die Vorinstanz ging im Folgenden in ihrer Hauptbegründung von einer uneingeschränkten Arbeitsfähigkeit in einer angepassten Tätigkeit aus und ermittelte einen rentenausschliessenden Invaliditätsgrad, wobei sie keinen Abzug beim Invalideneinkommen gewährte. Inwiefern das vorinstanzliche Urteil im Ergebnis Bundesrecht verletzen soll, ist mit Blick auf die vom Beschwerdeführer geforderte Reduktion von mindestens 20 % beim Invalideneinkommen nicht ersichtlich. So oder anders resultiert nämlich unter Berücksichtigung des hiervor Dargelegten und der anderen nicht bestrittenen Elemente selbst bei Annahme einer maximal möglichen Reduktion von 25 % ein Invaliditätsgrad von weniger als 40 %. Bei diesem Ergebnis und angesichts des Umstandes, dass der Beschwerdeführer auch mit dem Verweis auf das statistische Gutachten "Nutzung Tabellenmedianlöhne LSE zur Bestimmung der Vergleichslöhne bei der IV-Rentenbemessung" des Büros für arbeits- und sozialpolitische Studien (BASS AG) vom 8. Januar 2021keine über 25 % liegende Reduktion verlangt, ist auf das genannte Gutachten nicht weiter einzugehen.
5.4. Nachdem entgegen dem Beschwerdeführer aufgrund des beweiskräftigen Gutachtens des Dr. med. C._ die Einholung eines Parteigutachtens nicht notwendig war, hat es beim vorinstanzlichen Urteil sein Bewenden, dass die Kosten für das Parteigutachten nicht zu vergüten seien.
5.5. Die Beschwerde ist nach dem Dargelegten abzuweisen.
6.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 1. April 2022
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Möckli