Sachverhalt:
A.
Der 1963 geborene, seit Februar 2014 in einem Vollzeitpensum als "Bereichsleiter Büroservice" bei der Stiftung B._ tätig gewesene A._ war seit 16. Mai 2016 vollständig arbeitsunfähig. Er meldete sich am 19. August 2016 bei der Invalidenversicherung wegen einer koronaren Herzkrankheit und einer myeloischen Leukämie zur Früherfassung und am 10. November 2016 zum Leistungsbezug an. Die IV-Stelle Solothurn gewährte ihm nach Abklärungen in gesundheitlicher und erwerblicher Hinsicht berufliche Eingliederungsmassnahmen in Form eines Coachings und eines Belastbarkeitstrainings bei der Institution C._. Zudem wurde A._ bei der MEDAS Zentralschweiz polydisziplinär abgeklärt (Expertise vom 25. Juni 2018). Dr. med. D._, Facharzt für Psychiatrie und Psychotherapie, Regionaler Ärztlicher Dienst (RAD), erachtete in seiner Stellungnahme vom 31. Juli 2018 die Schlussfolgerungen im psychiatrischen MEDAS-Teilgutachten nicht als schlüssig, weshalb die IV-Stelle eine erneute Begutachtung in den Disziplinen Psychiatrie und Neuropsychologie durch die Begutachtungsstelle E._ GmbH, Zentrum für interdisziplinäre Begutachtungen, vorsah. Die berufliche Eingliederung wurde überdies am 26. September 2018 beendet, da A._ vom ersten Arbeitsmarkt zu weit weg sei. Der anwaltlich vertretene A._ forderte die IV-Stelle auf, die bidisziplinäre Begutachtung abzusagen und aufgrund der bestehenden Akten zu entscheiden (Schreiben vom 23. November 2018). Die IV-Stelle hielt schriftlich am 3. und 12. Dezember 2018 an der Begutachtung fest. A._ erklärte sich daraufhin am 18. Dezember 2018 bereit, bei einer weiteren Untersuchung durch einen RAD-Arzt, die MEDAS Zentralschweiz oder bei einer polydisziplinären, nicht aber bei einer bidisziplinären Begutachtung mitzuwirken. Mit Verfügung vom 5. November 2019 verneinte die IV-Stelle bei gegebener Aktenlage einen Anspruch auf weitere berufliche Massnahmen und eine Invalidenrente.
B.
Das Versicherungsgericht des Kantons Solothurn wies die dagegen geführte Beschwerde mit Urteil vom 3. Februar 2021 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des vorinstanzlichen Urteils seien ihm die gesetzlichen Leistungen zuzusprechen.
Die IV-Stelle und das Bundesamt für Sozialversicherungen haben auf eine Vernehmlassung verzichtet.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
1.2. Als Rechtsfrage gilt, ob die rechtserheblichen Tatsachen vollständig festgestellt und ob der Untersuchungsgrundsatz bzw. die Beweiswürdigungsregeln nach <ref-law> beachtet wurden. Gleiches gilt für die Frage, ob den medizinischen Gutachten und Arztberichten im Lichte der rechtsprechungsgemässen Anforderungen Beweiswert zukommt (<ref-ruling> E. 5.1). Bei den aufgrund dieser Berichte getroffenen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit und bei der konkreten Beweiswürdigung geht es um Sachverhaltsfragen (nicht publ. E. 1 des Urteils <ref-ruling>). Frei überprüfbare Rechtsfrage ist hingegen, ob und in welchem Umfang die ärztlichen Feststellungen anhand der Indikatoren nach <ref-ruling> auf Arbeitsunfähigkeit schliessen lassen (<ref-ruling> E. 7).
2.
2.1. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie einen Anspruch des Beschwerdeführers auf Leistungen der Invalidenversicherung verneinte.
2.2. Die bei der Beurteilung des Streitgegenstandes zu beachtenden Rechtsgrundlagen werden im angefochtenen Urteil zutreffend dargelegt. Darauf wird verwiesen.
3.
3.1. Die Vorinstanz erwog, die MEDAS-Expertise vom 25. Juni 2018 sei dem RAD unterbreitet und dem Beschwerdeführer sowie seinem Hausarzt und dem behandelnden Psychiater zur allfälligen Stellungnahme zugestellt worden, worauf jedoch verzichtet worden sei. Der Beschwerdeführer sei mit Schreiben vom 21. August 2018 über die vorgesehene, erneute psychiatrische und neuropsychologische Begutachtung in Kenntnis gesetzt, auf die Folgen einer Verletzung seiner Mitwirkungspflicht aufmerksam gemacht und mit Frist bis 4. September 2018 aufgefordert worden, Zusatzfragen oder Einwendungen gegen die vorgesehenen Gutachterpersonen vorzubringen. Ein Zustellnachweis dieses Schreibens liege allerdings nicht bei den Akten, sein Erhalt sei jedoch unbestritten. Die Begutachtungsstelle habe am 8. Oktober 2018 die Termine für die Untersuchungen mitgeteilt. Die (neue) Rechtsvertreterin des Beschwerdeführers habe erst am 9. November 2018 um Akteneinsicht ersucht und am 23. November 2018 vorgebracht, dass der Beschwerdeführer mit der bidisziplinären Begutachtung nicht einverstanden sei. Nachdem der Beschwerdeführer somit Ende August 2018, spätestens Mitte Oktober 2018 über die vorgesehene Abklärung Bescheid gewusst habe und somit erst rund drei Monate bzw. etwas mehr als einen Monat später dagegen opponiert habe, seien die Einwände gegen die Anordnung der Begutachtung verspätet und daher nicht zu hören.
3.2. In ausführlicher Würdigung der medizinischen Aktenlage gelangte die Vorinstanz sodann zur Erkenntnis, das psychiatrische Teilgutachten sei nicht beweiswertig. Für die neuropsychologisch auffälligen Testergebnisse (im Wesentlichen verminderte Anstrengungsbereitschaft, Symptomverdeutlichung) habe der psychiatrische Gutachter mit seinem Hinweis auf übersteigerte Selbstansprüche keine schlüssige Erklärung geliefert. Beim Vorliegen von solch übersteigerten Selbstansprüchen wäre damit zu rechnen, dass sich der Beschwerdeführer auch im Rahmen der neuropsychologischen Testung hätte anstrengen wollen, um ein möglichst gutes Resultat zu erzielen. Er habe aber seine Leistungsfähigkeit viel zu niedrig dargestellt, sich wenig angestrengt und Symptome verdeutlicht. Es erscheine widersprüchlich, so die Vorinstanz weiter, wenn aus psychiatrischer Sicht ein wenig offensichtlich vorhandenes depressives Symptom damit erklärt werde, dass es sich um eine larvierte Komponente handle bzw. der Beschwerdeführer alles daran setze, unbedingt Leistung erbringen zu wollen und dies bei der neuropsychologischen Untersuchung nicht der Fall sei. Die psychiatrische Begründung für die neuropsychologisch festgestellten, nicht authentischen kognitiven Störungen sei daher nicht nachvollziehbar.
Da sich der Beschwerdeführer geweigert habe, der angeordneten bidisziplinären Abklärung Folge zu leisten und die von der IV-Stelle gewählte Vorgehensweise eines Aktenentscheids aufgrund der Mitwirkungsverletzung korrekt sei, liege in psychiatrischer Hinsicht Beweislosigkeit vor. Somatischerseits könne hingegen auf das polydisziplinäre Gutachten der MEDAS abgestellt werden. Aus somatischer Sicht sei der Beschwerdeführer für leichte körperliche Tätigkeiten (einschliesslich der angestammten) vollständig arbeitsfähig, weshalb auf einen Einkommensvergleich verzichtet werden könne.
4.
4.1. Was die Vergabe bidisziplinärer Gutachten anbelangt, sind nach <ref-ruling> die rechtsstaatlichen Anforderungen gemäss <ref-ruling> - mit Ausnahme der Auftragsvergabe nach dem Zufallsprinzip (Art. 72 bis IVV) - auf mono- und bidisziplinäre medizinische Begutachtungen, die nicht durch eine MEDAS durchgeführt wurden, sinngemäss anwendbar. Zu den Verfahrensgarantien gehört namentlich das Recht der versicherten Person zur vorgängigen Fragestellung (<ref-ruling> E. 5.1, 5.2.3 und 5.4). Ziel dieser Mitwirkungsmöglichkeit ist eine einzelfalladäquate Fragestellung, welche zur Qualität des Gutachtens wesentlich beiträgt (<ref-ruling> E. 3.4.2.9). So ist gemäss <ref-ruling> E. 5.2.2.3 bei mono- und bidisziplinären Begutachtungen konsensorientiert vorzugehen, falls gegen den Vorschlag der Verwaltung materielle (fachbezogene) oder formelle personenbezogene (fallbezogenes formelles Ablehnungsbegehren) Einwendungen erfolgten (vgl. auch <ref-ruling> E. 7.3.2.3; Urteile 9C_464/1016 vom 19. Oktober 2016 E. 6.3.2.3 und 9C_560/2013 vom 6. September 2013 E. 2.3).
4.2. Hier war das soeben skizzierte Vorgehen nicht möglich, da sich der Beschwerdeführer nicht bzw., wie die Vorinstanz bundesrechtskonform darlegte (vorstehende E. 3.1), erst verspätet vernehmen liess. Nachdem der Beschwerdeführer nicht bestreitet, mit Schreiben vom 21. August 2018 über die geplante bidisziplinäre Abklärung informiert worden zu sein und er erstmals am 23. November 2018 vorbrachte, mit der vorgesehenen Begutachtung nicht einverstanden zu sein, hält der vorinstanzliche Schluss auf verspätete, unberücksichtigt zu bleibende Einwendungen letztinstanzlich stand. Hätte der Beschwerdeführer mit Blick auf die bevorstehende bidisziplinäre Begutachtung gemäss Untersuchungsprogramm Zweifel an der Notwendigkeit oder Zumutbarkeit dieser medizinischen Exploration gehabt, wäre er im Rahmen des Grundsatzes von Treu und Glauben gehalten gewesen, seine Einwände unverzüglich bei der IV-Stelle geltend zu machen (vgl. <ref-ruling> E. 9), was er offensichtlich weder nach dem Schreiben der IV-Stelle vom 21. August 2018 getan hat, noch nachdem die Begutachtungsstelle mit Schreiben vom 8. Oktober 2018 über die vorgesehenen Untersuchungstermine orientiert hatte.
Entgegen den Vorbringen in der Beschwerde genügte die IV-Stelle mit den dargelegten Informationen den an sie rechtsprechungsgemäss gestellten Anforderungen bei der Gutachtensvergabe (vorstehende E. 4.1). Insbesondere hat sie, gemäss den zutreffenden Feststellungen der Vorinstanz, im Schreiben vom 21. August 2018 den Beschwerdeführer ausreichend über seine Rechte in Bezug auf die beabsichtigte Begutachtung informiert und darin auch auf die Folgen einer Nichtbeachtung hingewiesen, welcher Passus im Schreiben vom 3. Dezember 2018 an die Rechtsvertretung des Beschwerdeführers wiederholt wurde. Am 12. Dezember 2018 bekräftigte die IV-Stelle, dass an der Begutachtung festgehalten werde und im Übrigen das im Schreiben vom 3. Dezember 2018 Gesagte gelte. Entgegen der Ansicht des Beschwerdeführers ist seine Weigerung, an der bidisziplinären Begutachtung teilzunehmen, nicht entschuldbar und verletzt seine Mitwirkungspflicht.
Damit ist das wiederholte Vorbringen des Beschwerdeführers, die IV-Stelle hätte anstelle der bidisziplinären Begutachtung losbasiert ein polydisziplinäres Gutachten einholen müssen, ebenso wenig stichhaltig wie seine Ansicht, die bidisziplinäre Begutachtung sei unzulässig und damit weder notwendig noch zumutbar gewesen. Eine Umgehung des in <ref-law> i.V.m. 72 bis IVV verankerten Zufallsprinzips liegt nicht vor.
4.3.
4.3.1. Nicht ersichtlich ist sodann, weshalb nach einer polydisziplinären Begutachtung eine ergänzende bidisziplinäre Exploration unzulässig sein sollte, da der medizinische Sachverhalt hierdurch nicht umfassend erhoben werde. So führt die Nichtberücksichtigung des psychiatrischen Teilgutachtens nicht zur Beweisuntauglichkeit des gesamten Gutachtens, auch wenn die interdisziplinäre Ausrichtung ein zentrales Wesensmerkmal der MEDAS-Gutachten ist und bei komplexen gesundheitlichen Beeinträchtigungen die Einschätzung der Leistungsfähigkeit auf umfassender, die Teilergebnisse verschiedener medizinischer Disziplinen integrierender Grundlage erfolgen muss (<ref-ruling> E. 1.2.4). Optimal ist, wenn - unabhängig davon, welche Fachrichtungen bei der Durchführung der polydisziplinären Begutachtung berücksichtigt wurden - die abschliessende, gesamthafte Beurteilung von Kausalität und Arbeitsunfähigkeit auf der Grundlage einer Konsensdiskussion der einzelnen Gutachter oder unter Leitung eines fallführenden Arztes erfolgt, damit die Ergebnisse aus den einzelnen Fachrichtungen zusammengeführt und dargelegt werden können (Urteil 8C_323/2007 vom 25. Februar 2008 E. 4.3.2 mit Hinweisen). Zwingende Voraussetzung für die Beweistauglichkeit eines polydisziplinären Gutachtens ist dies jedoch nicht. Mit anderen Worten verletzt das Abstellen auf ein polydisziplinäres Gutachten <ref-law> nicht allein schon deshalb, weil einem Teilgutachten der Beweiswert abgesprochen und ein anderes Fachgutachten eingeholt wird. Denn letztlich beurteilt sich die Frage, ob ein Gutachten beweiskräftig ist oder nicht, stets anhand des konkreten Einzelfalls bzw. danach, ob sich gestützt auf die Expertise die rechtsrelevanten Fragen beantworten lassen oder nicht. Die Vorinstanz hat hier nachvollziehbar und schlüssig dargelegt, weshalb dem somatischen Teil des MEDAS-Gutachtens - entgegen der Auffassung des Beschwerdeführers - Beweiskraft zukommt. Wie die Vorinstanz willkürfrei feststellte, ist die medizinische Situation insoweit durch die vorliegenden beweiswertigen Akten hinreichend abgeklärt (vgl. nachstehende E. 4.3.2), weshalb in dieser Konstellation die erneute Begutachtung in lediglich zwei Fachgebieten (Psychiatrie und Neuropsychologie) notwendig aber auch genügend ist. Dies verletzt kein Bundesrecht.
4.3.2. Was in der Beschwerde hiegegen vorgebracht wird, beschränkt sich im Wesentlichen auf appellatorische Kritik an der vorinstanzlichen Sachverhaltsfeststellung, worauf nicht weiter einzugehen ist (vgl. <ref-ruling> E. 1.3 i.f. mit Hinweisen). Inwiefern diese offensichtlich unrichtig sein und die Beweiswürdigung das Willkürverbot verletzen soll (vgl. vorstehende E. 1.1), ergibt sich aus der Beschwerde nicht. Namentlich leuchtet nicht ein, weshalb bei dieser Vorgehensweise keine gesamtheitliche Beurteilung des Gesundheitszustands und der Arbeitsfähigkeit möglich sein sollte. Der Polymorbidität des Beschwerdeführers hätte durch die (mittels polydisziplinärer und ergänzender bidisziplinärer Begutachtung) umfassende Beurteilung sämtlicher gesundheitsbedingter Einschränkungen der Leistungsfähigkeit in somatischer wie psychischer Hinsicht angemessen Rechnung getragen werden können, zumal Experten die medizinische Situation in Kenntnis der Vorakten zu beurteilen haben. Was das verlangte hämatologisch-onkologische Gutachten in Bezug auf die diagnostizierte chronisch-myeloische Leukämie betrifft, stellte die Vorinstanz fest, dass sich diese in guter molekularbiologischer Remission befinde und mit dem Medikament Tasigna behandelt werde. Seitens der Gutachter sei die Leukämie, einschliesslich der beklagten Nebenwirkungen des Medikaments, hinreichend berücksichtigt worden. Die Vorinstanz führte hierzu in nicht zu beanstandender Weise aus, dass sich, auch wenn der Beschwerdeführer das Medikament höher dosiert als im Gutachten aufgeführt einnehmen müsse, wie er letztinstanzlich erneut einwendet, am Ergebnis nichts änderte. Der internistische Gutachter sei in Bezug auf die Nebenwirkungen davon ausgegangen, dass ein Teil der beklagten Müdigkeit medikamentös bedingt sei. Nichts anderes ergebe sich aus dem Bericht des Hämatologen Dr. med. F._ vom 19. Juli 2019, der in allgemeiner Weise darauf hingewiesen habe, dass 20 % der Patienten bei dieser Medikation eine Müdigkeit beschrieben hätten. Im Bericht der Klinik für Hämatologie des Spitals G._ vom 5. Februar 2018 sei der diagnostizierten Leukämie keine Auswirkung auf die Arbeitsfähigkeit beigemessen worden. Die Vorinstanz stellte zudem fest, dass sich aus dem nach Verfügungserlass ergangenen Bericht des Dr. med. H._, Facharzt für Innere Medizin, vom 1. März 2020 keine relevanten Rückschlüsse für den hier zu beachtenden Zeitraum bis zum Verfügungserlass ergäben. Seine Diagnose einer Cancer-related Fatigue habe er einzig auf die anamnestischen Angaben des Beschwerdeführers gestützt und die beschriebene Müdigkeit sei den MEDAS-Gutachtern bekannt gewesen. Dass diese Darlegungen der Vorinstanz unhaltbar sind oder sich hieraus ein weiterer Abklärungsbedarf in hämato-onkologischer, kardio-onkologischer und psycho-onkologischer Hinsicht ergibt, vermag der Beschwerdeführer nicht darzulegen. Sein Verweis auf die Angabe des Hausarztes Dr. med. I._, Facharzt für Innere Medizin, in seinem Bericht vom 6. August 2017, wonach möglicherweise die medikamentöse Therapie der chronisch myeloischen Leukämie beim Myokardinfarkt eine Rolle gespielt habe, ändert daran nichts. Nicht stichhaltig sind auch die übrigen Rügen zum vorinstanzlich in somatischer Hinsicht gestützt auf das MEDAS-Gutachten festgestellten Gesundheitszustand. Vor diesem Hintergrund hält die vorinstanzliche Annahme einer vollständigen Arbeitsfähigkeit des Beschwerdeführers aus somatischer Sicht in einer adaptierten Tätigkeit, namentlich auch in der bisherigen Tätigkeit als Bereichsleiter im Bürobereich, einer bundesgerichtlichen Überprüfung stand.
5.
Nach dem Gesagten ging die Vorinstanz willkürfrei davon aus, dass auf die psychiatrische Beurteilung im Gutachten der MEDAS nicht abgestellt werden kann und auch die übrigen medizinischen Akten keine hinreichende, beweiswertige Grundlage für die Beurteilung des psychischen Gesundheitsschadens bilden. Somit liegt in diesem Punkt aufgrund der Akten Beweislosigkeit vor. Grund für die Beweislosigkeit ist im vorliegenden Fall die unentschuldbare Weigerung des Beschwerdeführers, an einer Begutachtung mitzuwirken, womit dieser ihre Folgen zu tragen hat. Das vorinstanzliche Urteil ist rechtens.
6.
Der unterliegende Beschwerdeführer trägt die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. August 2021
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla