Sachverhalt:
A.
A._, geboren 1972, erwarb 1999 an der Universität B._ das Fähigkeitszeugnis als Sekundarlehrer und arbeitete anschliessend in diesem Beruf. Wegen einer ab Januar 2009 psychiatrisch behandelten Angststörung und Depression meldete er sich am 25. Februar 2010 bei der Invalidenversicherung zum Leistungsbezug an. Nach medizinischen und erwerblichen Abklärungen sowie gestützt auf das psychiatrische Gutachten des Dr. med. C._ vom 9. Mai 2011 verneinte die IV-Stelle des Kantons Zug mangels einer gesundheitsbedingten Einschränkung der Arbeitsfähigkeit einen Leistungsanspruch (Verfügung vom 3. August 2011).
Ab Oktober 2014 arbeitete A._ als Betriebsangestellter mit einem 80%-Pensum im Heilpädagogischen Zentrum D._. Infolge psychischer Beschwerden mit voller Arbeitsunfähigkeit ab 12. Januar 2015 reichte er am 13. Mai 2015 erneut ein Leistungsbegehren ein. Nach Einholung des bidisziplinären, psychiatrisch-neuropsychologischen Gutachtens vom 26. und 31. März 2016 des Dr. med. C._ und lic. phil. E._ (nachfolgend: bidisziplinäres Gutachten) sprach die IV-Stelle A._ verschiedene berufliche Eingliederungsmassnahmen zu. Anschliessend an die berufliche Abklärung vom 22. August bis 21. November 2016 in der Institution F._ sowie gestützt auf das neuropsychologische Verlaufsgutachten des lic. phil. E._ vom 30. Januar 2018 (nachfolgend: neuropsychologisches Verlaufsgutachten) lehnte die IV-Stelle das Leistungsgesuch wiederum ab (Verfügung vom 14. November 2019).
B.
Die hiegegen erhobene Beschwerde des A._ wies das Verwaltungsgericht des Kantons Zug ab (Urteil vom 22. Februar 2021).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, ihm sei unter Aufhebung des angefochtenen Urteils eine Invalidenrente zuzusprechen. Die Sache sei mit der Verpflichtung an die Vorinstanz zurückzuweisen, weitere medizinische Abklärungen vorzunehmen, insbesondere ein Gerichtsgutachten einzuholen. Eventualiter sei die Sache zwecks Einholung eines Gutachtens und anschliessender Neuentscheidung über den Leistungsanspruch an die Beschwerdegegnerin zurückzuweisen. Zudem beantragt der Beschwerdeführer die Gewährung der unentgeltlichen Rechtspflege und Verbeiständung.
Während die IV-Stelle auf Beschwerdeabweisung schliesst, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 und 2 BGG). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>) und kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG; zum Ganzen <ref-ruling> E. 4).
1.2. Die vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit des Beschwerdeführers beziehen sich grundsätzlich auf Tatfragen (<ref-ruling> E. 3.2), weshalb sie das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat. Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar (Urteil 9C_182/2020 vom 17. September 2020 E. 1.2). Dagegen betrifft die Beachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1 und <ref-law>; statt vieler: Urteil 9C_156/2020 vom 9. Juli 2020 E. 1.2 mit Hinweis) und der Beweiswürdigungsregeln eine Rechtsfrage (<ref-ruling> E. 8.2 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (<ref-law> und <ref-law>; <ref-ruling> E. 1.4.1 und 1.4.2) frei überprüfen kann (<ref-law>).
2.
Streitig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die von der IV-Stelle am 14. November 2019 verfügte Abweisung des Leistungsbegehrens bestätigte.
3.
3.1. Die Vorinstanz hat die gesetzlichen Grundlagen betreffend die Arbeitsunfähigkeit (<ref-law>), die Erwerbsunfähigkeit (<ref-law>), die Invalidität (<ref-law>, <ref-law>) und den Rentenanspruch (<ref-law>) richtig dargelegt. Gleiches gilt für die Ausführungen zu den bei der Neuanmeldung analog anwendbaren Revisionsregeln (<ref-law>, <ref-law>; <ref-ruling> E. 2.1; <ref-ruling> E. 2.3; <ref-ruling> mit Hinweisen; <ref-ruling> E. 3.5), zur ärztlichen Aufgabe bei der Invaliditätsbemessung (<ref-ruling> E. 1b; zudem <ref-ruling> E. 3.2; <ref-ruling> E. 4 mit Hinweisen), zur freien Beweiswürdigung (<ref-law>) sowie zum Beweiswert von Arztberichten und Gutachten (<ref-ruling> E. 4.4 f.; <ref-ruling> E. 5.1 mit Hinweis; ferner <ref-ruling> E. 2.2.2). Darauf wird verwiesen.
3.2. Ergänzend ist auf <ref-law> hinzuweisen, wonach das Versicherungsgericht unter Mitwirkung der Parteien die für den Entscheid erheblichen Tatsachen feststellt; es erhebt die notwendigen Beweise und ist in der Beweiswürdigung frei.
3.2.1. Der Untersuchungsgrundsatz verpflichtet das kantonale Gericht - unter Vorbehalt der Mitwirkungspflichten der Parteien -, von sich aus für die richtige und vollständige Abklärung des rechtserheblichen Sachverhalts zu sorgen (vgl. SVR 2009 EL Nr. 5 S. 17, 8C_773/2008 E. 5.3). Massnahmen zur Klärung des rechtserheblichen Sachverhalts müssen vorgenommen oder veranlasst werden, wenn dazu auf Grund der Parteivorbringen oder anderer sich aus den Akten ergebender Anhaltspunkte hinreichender Anlass besteht (SVR 2009 IV Nr. 4 S. 6, I 110/07 E. 4.2.2 mit Hinweisen). Rechtserheblich sind dabei alle Tatsachen, von deren Vorliegen es abhängt, ob über den streitigen Anspruch so oder anders zu entscheiden ist (SVR 2013 UV Nr. 9 S. 29, E. 5.2; Urteil 9C_146/2021 vom 25. Juni 2021 E. 3.4). In Nachachtung des Untersuchungsgrundsatzes sind etwa weitere Abklärungen vorzunehmen, wenn der festgestellte Sachverhalt unauflösbare Widersprüche enthält oder eine entscheidwesentliche Tatfrage bislang auf einer unvollständigen Beweisgrundlage beantwortet wurde (<ref-ruling> E. 8.1 mit Hinweis; vgl. auch Ueli Kieser, Kommentar zum Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts, ATSG, 4. Aufl. 2020, N. 107 zu <ref-law>).
3.2.2. Die Untersuchungspflicht dauert so lange, bis über die für die Beurteilung des streitigen Anspruchs erforderlichen Tatsachen hinreichende Klarheit besteht (SVR 2020 MV Nr. 3 S. 7, 8C_641/2019 E. 3.3.1 mit Hinweis). Die Verwaltung als verfügende Instanz und - im Beschwerdefall - das Gericht dürfen eine Tatsache als bewiesen annehmen, wenn sie von ihrem Bestehen überzeugt sind. Im Sozialversicherungsrecht hat das Gericht seinen Entscheid, sofern das Gesetz nicht etwas Abweichendes vorsieht, nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit zu fällen. Die blosse Möglichkeit eines bestimmten Sachverhalts genügt den Beweisanforderungen nicht. Das Gericht hat vielmehr jener Sachverhaltsdarstellung zu folgen, die es von allen möglichen Geschehensabläufen als die wahrscheinlichste würdigt (<ref-ruling> E. 3.2; <ref-ruling> E. 6; je mit Hinweisen).
4.
Der Beschwerdeführer rügt vorweg, die Vorinstanz habe <ref-law> verletzt.
4.1. Das kantonale Gericht erwog, die gegensätzlichen Einschätzungen der Leistungsfähigkeit laut bidisziplinärem Gutachten einerseits und gemäss Beurteilung der Eingliederungsinstitution F._ andererseits seien durch Einholung des neuropsychologischen Verlaufsgutachtens hinreichend erläutert worden. Insgesamt stehe damit fest, dass die Beobachtungen anlässlich der beruflichen Abklärung bei der F._ nicht geeignet seien, die gutachterliche Einschätzung in Frage zu stellen. Ernsthafte Zweifel, welche praxisgemäss (Urteil 8C_30/2020 vom 6. Mai 2020 E. 5.2.1 mit Hinweisen) die Einholung einer klärenden medizinischen Stellungnahme erfordern würden, schloss die Vorinstanz aus.
4.2. Hiergegen beruft sich der Beschwerdeführer unter anderem auf das neuropsychologische Verlaufsgutachten. Lic. phil. E._ habe ausdrücklich aus seiner neuropsychologischen Sicht nicht zu erklären vermocht, weshalb das von ihm im Januar 2018 erhobene kognitive Befundbild derart massiv von den Feststellungen anlässlich der dreimonatigen F._-Abklärung abweiche. Statt dessen habe er - trotz fehlender fachärztlich-psychiatrischer Qualifikation - die Behandlung des Dr. med. G._ als nicht adäquat beanstandet. So sei der neuropsychologische Gutachter zur Einschätzung gelangt, dass der Beschwerdeführer aus rein neuropsychologischer Sicht als Sekundarlehrer angeblich voll arbeitsfähig sei. Doch habe dieser Gutachter ausdrücklich darauf hingewiesen, allfällige Einschränkungen der Leistungsfähigkeit und der zeitlichen Zumutbarkeit müssten aus psychiatrischer Sicht beurteilt werden. Unter diesen Umständen habe die Vorinstanz <ref-law> verletzt, indem sie auf die Einholung einer weiteren Stellungnahme des psychiatrischen Sachverständigen verzichtete. Die vorinstanzliche Schlussfolgerung, wonach das Verhalten des Beschwerdeführers während der dreimonatigen F._-Eingliederungsabklärung "von einer mangelhaften Arbeitseinstellung zeuge", sei zudem aktenwidrig. Das Gegenteil davon treffe zu.
4.3.
4.3.1. Laut angefochtenem Urteil ist nicht nachvollziehbar, weshalb der Beschwerdeführer zu Hause Stunden am Computer verbringen könne, während der F._-Abklärung jedoch viel zu lange Zeit benötigte, um auftragsgemäss Bilder einzuscannen und zu bearbeiten. Gemäss Vorinstanz zeuge das gezeigte Verhalten des Beschwerdeführers während der F._-Abklärung von einer mangelhaften Arbeitseinstellung. Diese gerichtliche Sachverhaltsfeststellung ist offensichtlich unzutreffend und findet in den Akten keine Stütze. Zunächst beruft sich der Beschwerdeführer gestützt auf die Berichte zur F._-Abklärung auf die ebenfalls vorinstanzlich festgestellten Tatsachen, dass er jeweils nach Absolvierung der Tagesarbeitszeit am Nachmittag im Office geblieben sei. Regelmässig habe er nach Arbeitsende um 16.00 bzw. 17.00 Uhr darauf hingewiesen werden müssen, dass er nach Hause gehen könne. Wiederholt sei er bis um 17.30 Uhr im Office geblieben, um Notizen zu erstellen. Immer wieder habe er daran erinnert werden müssen, Feierabend zu machen. Er sei enttäuscht gewesen, als man ihm den Entscheid eröffnete, die berufliche Massnahme nicht zu verlängern. Daraus gemäss angefochtenem Urteil auf eine mangelhafte Arbeitseinstellung zu schliessen, verletzt Bundesrecht. Zwar steht fest, dass der Beschwerdeführer seine Aufgaben und Aufträge anlässlich der beruflichen Abklärung nicht innert nützlicher Frist erfüllte. Doch legte das kantonale Gericht nicht dar und ist nicht ersichtlich, ob - und gegebenenfalls inwieweit - der Beschwerdeführer die Stunden am Computer zu Hause überhaupt zielgerichtet zur Erfüllung einer konkreten Aufgabe zu nutzen vermochte.
4.3.2. Mit dem Beschwerdeführer sind weder den Berichten der F._ noch dem neurologischen Verlaufsgutachten Hinweise auf eine mangelhafte Kooperation oder eine ungenügende Arbeitseinstellung zu entnehmen. Nach ausdrücklicher vorinstanzlicher Tatsachenfeststellung handelt es sich bei den anlässlich der dreimonatigen Eingliederungsabklärung beobachteten Defiziten um eben gerade solche kognitive Beeinträchtigungen, die nicht nur vom behandelnden Psychiater, sondern auch von den F._-Eingliederungsfachpersonen beschrieben wurden. Dies zeigte sich etwa, indem der Beschwerdeführer sich nicht an zeitliche Strukturen zu halten vermochte, viele Gespräche führte, sich im Detail verlor, klare Vorgaben und eine enge Begleitung benötigte, sehr sprunghaft sprach, sich nicht auf das Wesentliche konzentrieren konnte und zerstreut bzw. nicht fokussiert wirkte. In massiver Diskrepanz dazu verneinte lic. phil. E._ in seinem neuropsychologischen Verlaufsgutachten aus rein neuropsychologischer/kognitiver Sicht irgendwelche Einschränkungen, welche den Beschwerdeführer in seiner angestammten Tätigkeit als Sekundarschullehrer in relevanter Weise beeinträchtigen könnten. Der neuropsychologische Gutachter hielt diesbezüglich jedoch relativierend fest, diese Diskrepanz aus neuropsychologischer Sicht nicht erklären zu können. Statt dessen verwies er ausdrücklich darauf, allfällige Einschränkungen der Leistungsfähigkeit und der zeitlichen Zumutbarkeit aufgrund einer Psychopathologie seien aus psychiatrischer Sicht zu beurteilen. Trotz fehlender fachärztlicher Ausbildung kritisierte der neuropsychologische Gutachter die therapeutischen Massnahmen des behandelnden Psychiaters Dr. med. G._.
4.3.3. Angesichts dieser Ausgangslage war die Vorinstanz nach Massgabe des Untersuchungsgrundsatzes (vgl. E. 3 hievor; vgl. auch Urteil 8C_30/2020 vom 6. Mai 2020 E. 5.2.1 mit Hinweisen) gehalten, nicht nur die Frage der behaupteten Fehlbehandlung des Dr. med. G._, sondern auch die abschliessende Feststellung der Leistungsfähigkeit insbesondere unter Berücksichtigung der Ergebnisse der beruflichen Eingliederungsabklärung und der neuropsychologischen Verlaufsbegutachtung durch Einholung einer entsprechenden fachpsychiatrischen Beurteilung hinreichend zuverlässig (vgl. E. 3.2.2) zu klären. Allein die Tatsache, dass die Erkenntnisse aus der dreimonatigen beruflichen Eingliederungsabklärung in der F._ hinsichtlich der beschriebenen kognitiven Defizite in diametralem Gegensatz zur Einschätzung gemäss neuropsychologischem Verlaufsgutachten standen, ohne dass der neuropsychologische Gutachter diesen Gegensatz zu erklären vermochte, erforderte eine fachärztlich-psychiatrische Überprüfung. Denn laut angefochtenem Urteil waren nach Einschätzung des behandelnen Psychiaters gerade kognitive Störungen in Kombination mit der leichten depressiven Symptomatik für die erhebliche Einschränkung der Leistungsfähigkeit massgebend. Auch wenn Dr. med. C._ im Rahmen seiner fachpsychiatrischen Exploration des Beschwerdeführers anlässlich der bidisziplinären Begutachtung - vor der dreimonatigen Eingliederungsabklärung und vor der neuropsychologischen Verlaufsbegutachtung - von einem seit 2014 unveränderten depressiven Zustandsbild ausging, genügen die Kurzeinschätzungen des Psychiaters des Regionalen Ärztlichen Dienstes (RAD) der Zentralschweiz entgegen der Vorinstanz nicht, um die massiven Diskrepanzen zwischen den gegensätzlichen Beurteilungen gemäss neuropsychologischem Verlaufsgutachten einerseits und den F._-Berichten sowie den Berichten des Dr. med. G._ vom 4. Juni 2017 und 31. August 2018 andererseits hinreichend zuverlässig zu erläutern. Indem die Vorinstanz auf die Einholung einer Stellungnahme des psychiatrischen Sachverständigen verzichtete, verletzte sie den Untersuchungsgrundsatz (vgl. E. 3.2.2 hievor).
4.4. Steht nach dem Gesagten entgegen dem kantonalen Gericht nicht mit hinreichender Zuverlässigkeit fest, dass dem Beschwerdeführer trotz seiner unbestrittenen Einschränkungen die angestammte Tätigkeit als Sekundarlehrer mit einem vollen zeitlichen Arbeitspensum und einer maximal um 20% reduzierten Leistungsfähigkeit zumutbar ist, ohne dass aus neuropsychologischer Sicht die Eingliederungsfähgkeit relevant eingeschränkt wäre, ist das angefochtene Urteil aufzuheben und die Sache zur ergänzenden Sachverhaltsabklärung und zur anschliessenden Neuentscheidung über die Beschwerde an die Vorinstanz zurückzuweisen.
5.
Die Rückweisung der Sache an die Vorinstanz zu weiterer Abklärung (mit noch offenem Ausgang) gilt für die Frage der Auferlegung der Gerichtskosten wie auch der Parteientschädigung als vollständiges Obsiegen im Sinne von Art. 66 Abs. 1 sowie Art. 68 Abs. 1 und 2 BGG, unabhängig davon, ob sie beantragt oder ob das Begehren im Haupt- oder Eventualantrag gestellt wird (<ref-ruling> E. 7.1; Urteil 8C_177/2020 vom 22. Dezember 2020 E. 7). Die unterliegende Beschwerdegegnerin hat die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Zug vom 22. Februar 2021 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. Oktober 2021
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Hochuli