Faits :
A.
A._, né en 1970, a assumé diverses fonctions dirigeantes pour le compte de plusieurs sociétés jusqu'en 2012 puis a perçu des indemnités de chômage jusqu'en avril 2014. Arguant ne plus être en mesure de travailler depuis août 2013 à cause des séquelles d'un phéochromocytome (tumeur surrénalienne), il a sollicité des prestations de l'assurance-invalidité le 5 juin 2014.
Entre autres mesures d'instruction, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli les avis des médecins traitants, dont ceux de la doctoresse B._, spécialiste en psychiatrie et psychothérapie. Il les a soumis aux docteurs C._ et D._, médecins de son Service médical régional (SMR), selon lesquels les différents troubles observés (status post-cure d'un phéochromocytome, séquelles d'une vascularite rétinienne avec suspicion d'atteinte nasale, hypersomnie idiopathique, apnées du sommeil, dépression, utilisation d'alcool et de cocaïne) influençaient la capacité de travail depuis 2013 et n'étaient pas encore stabilisés (rapport du 26 novembre 2014). Les médecins traitants ayant par la suite fait état d'une évolution favorable permettant la réalisation de mesures de réadaptation (rapport du docteur D._ du 23 mai 2016), l'administration a confié une expertise au docteur E._, spécialiste en psychiatrie et psychothérapie. Celui-ci a diagnostiqué, avec répercussions sur la capacité de travail, un trouble mixte de la personnalité émotionnellement labile et immature et un trouble dépressif récurrent bref; il a aussi mentionné des troubles mentaux et du comportement liés à une utilisation d'alcool nocive pour la santé, sans répercussion sur la capacité de travail. Le médecin a conclu à une capacité de travail de 70 % dès juillet 2014 dans l'activité exercée jusqu'alors et dans toute activité correspondant aux aptitudes de l'assuré (rapport d'expertise du 12 janvier 2017).
Dès lors, l'office AI a pris en charge diverses mesures de réadaptation. Selon le rapport de F._ SA du 3 mai 2018, le bon déroulement de ces mesures a confirmé la capacité résiduelle de travail de 70 %.
L'office AI a informé l'assuré que, compte tenu des informations rassemblées, il envisageait de lui accorder une demi-rente d'invalidité dès le 1er décembre 2014 (projet de décision du 7 août 2018). Sur la base d'avis de ses médecins traitants, critiquant les conclusions de l'expertise (rapport de la doctoresse B._ du 28 août 2018) ou décrivant l'évolution de la capacité de travail depuis 2010 (rapport du docteur G._, spécialiste en médecine interne générale, du 18 juillet 2017), l'intéressé a formulé des observations contre le projet de décision. L'administration les a écartées puis a reconnu le droit de l'assuré à une demi-rente dès le 1er décembre 2014 (décisions des 3 et 28 janvier 2019).
B.
Saisi d'un recours de A._, le Tribunal cantonal du canton Vaud, Cour des assurances sociales, l'a rejeté (arrêt du 28 septembre 2020).
C.
L'assuré interjette un recours en matière de droit public contre cet arrêt. Il en demande la réforme en ce sens qu'à titre principal, une rente entière d'invalidité lui soit octroyée dès le 1er décembre 2014 et qu'à titre subsidiaire, les décisions des 3 et 28 janvier 2019 soient annulées et la cause renvoyée à l'office AI pour instruction complémentaire et nouvelle décision. En tout état de cause, il conclut à la condamnation de l'administration à lui rembourser les 500 fr. d'honoraires versés à la doctoresse B._ pour le rapport du 28 août 2018.

Considérant en droit :
1.
Le recours en matière de droit public (au sens des <ref-law>) peut être formé pour violation du droit (circonscrit par les art. 95 et 96 LTF). Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est limité ni par l'argumentation de la partie recourante ni par la motivation de l'autorité précédente. Il statue sur la base des faits établis par cette dernière (<ref-law>). Cependant, il peut rectifier les faits ou les compléter d'office s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant ne peut critiquer les faits que s'ils ont été constatés de façon manifestement inexacte ou contraire au droit et si la correction d'un tel vice peut influer sur le sort de la cause (<ref-law>).
2.
Est litigieux le point de savoir si, depuis le 1er décembre 2014, l'assuré a droit à une rente entière d'invalidité, comme il le soutient, ou s'il peut prétendre une demi-rente d'invalidité, comme l'a retenu le tribunal cantonal.
3.
L'arrêt attaqué cite les normes et la jurisprudence indispensables à la résolution du litige, en particulier celles relatives au droit à la rente (<ref-law>) et à sa naissance (<ref-law>) ainsi qu'à l'évaluation de l'invalidité selon la méthode de comparaison des revenus (<ref-law>) sans et avec invalidité (<ref-ruling> consid. 4.1; <ref-ruling> consid. 4.2.1) et aux différents facteurs de réduction (abattement) du revenu d'invalide (ATF <ref-ruling> consid. 4.2.3). Il expose également les principes jurisprudentiels portant sur le principe de libre appréciation des preuves et la valeur probante des rapports médicaux (<ref-ruling> consid. 5.1), l'appréciation du caractère invalidant des troubles psychiques (<ref-ruling>; <ref-ruling>; 418) ainsi que la valeur probante des rapports d'expertise psychiatrique établis avant la publication de ces derniers arrêts (<ref-ruling> consid. 8). Il suffit d'y renvoyer.
4.
4.1. En l'espèce, la juridiction cantonale a confirmé les décisions des 3 et 28 janvier 2019. Elle a en substance considéré que le rapport du docteur E._, probant et convaincant, y compris au regard des indicateurs applicables à l'analyse du caractère invalidant de troubles psychiques, n'était pas valablement remis en question par les critiques de la doctoresse B._ ni par les déclarations du docteur G._. Elle a en outre relevé que le rapport d'expertise n'était pas contraire aux règles prévalant pour la rédaction de tels documents et que, compte tenu des dispositions légales régissant la naissance du droit à la rente, l'office intimé n'avait aucune raison d'examiner l'évolution de la capacité de travail au-delà des six mois précédant le dépôt de la demande. Elle a constaté par ailleurs que les troubles somatiques diagnostiqués n'étaient plus incapacitants. Elle a en outre confirmé en tout point l'appréciation du taux d'invalidité par l'administration.
4.2. Le recourant reproche en substance aux premiers juges d'avoir fait preuve d'arbitraire en suivant les conclusions du docteur E._. Il soutient pour l'essentiel que, compte tenu de la complexité des pathologies somatiques et psychiques dont il est atteint, l'expert ne pouvait pas se contenter d'une visite médicale de quelques heures mais aurait dû procéder à des investigations plus approfondies (notamment prendre contact avec le docteur G._ ou prendre position sur le rapport de la doctoresse B._ du 28 août 2018) pour avoir une vision plus cohérente de son cas et en faire une appréciation correcte. Il en déduit que le rapport d'expertise n'est pas probant et que l'arrêt cantonal, fondé sur ce rapport, ne peut être confirmé.
4.3. L'argumentation de l'assuré est infondée. Certes, conformément à ce que celui-ci soutient, le tribunal cantonal a considéré qu'il n'y avait pas lieu d'examiner si les troubles psychiques actuels influençaient déjà la capacité de travail en 2010 étant donné les règles applicables à la naissance du droit à une rente d'invalidité (incapacité de travail moyenne d'au moins 40 % durant l'année précédant le début du droit; <ref-law>). Le recourant ne peut cependant pas en déduire une appréciation arbitraire de la situation de la part de la juridiction cantonale au motif que, selon lui, il était nécessaire de savoir si sa capacité de travail à l'époque était déjà influencée par ses troubles psychiques pour pouvoir déterminer correctement son revenu sans invalidité et, partant, son taux d'invalidité. En effet, il omet de préciser que les premiers juges ont déjà tranché cette question, du moins implicitement, lorsqu'ils ont fixé le revenu sans invalidité. Ceux-ci ont effectivement constaté que le changement d'activité survenu à l'époque était motivé par des perspectives professionnelles et non par les répercussions négatives d'une atteinte à la santé sur la capacité de travail. L'assuré ne conteste pas ces constatations. La seule évocation d'une possible influence des troubles psychiques diagnostiqués sur la capacité de travail déjà en 2010 ne suffit dès lors pas pour remettre valablement en cause l'appréciation des premiers juges ni pour dénier toute valeur probante au rapport d'expertise du docteur E._ au motif qu'il n'aurait pas interrogé les médecins (en particulier le docteur G._) consultés en 2010.
Par ailleurs, il est vrai également que, conformément à ce qu'affirme le recourant, le tribunal cantonal a déclaré que la doctoresse B._ était malvenue de reprocher au docteur E._ de ne pas discuter les diagnostics qu'elle avait retenus ni certains éléments anamnestiques dans la mesure où elle ne les motivait pas elle-même. L'assuré ne saurait toutefois en inférer une appréciation arbitraire de la situation par la juridiction cantonale dès lors que, d'une part, il ressort de la partie "Synthèse et Discussion" du rapport d'expertise que le docteur E._ avait justifié de manière claire et circonstanciée non seulement les diagnostics qu'il retenait mais aussi les raisons pour lesquelles il en écartait d'autres. Et d'autre part, ce n'est pas le seul motif qui a conduit les premiers juges à nier la pertinence du rapport de la doctoresse B._ du 28 août 2018. En effet, le tribunal cantonal a aussi constaté que l'appréciation de la capacité de travail par la psychiatre traitante était en contradiction avec celle convaincante de l'expert (qui tenait notamment compte des éléments anamnestiques évoqués), avec la volonté exprimée par le recourant de reprendre une activité, avec son rapport antérieur du 10 mai 2016 dans lequel elle préconisait des mesures de réadaptation et avec le résultat objectif de ces dernières. L'assuré ne conteste pas ce point et ne démontre ainsi pas en quoi l'appréciation de la juridiction cantonale serait arbitraire. Dans ces circonstances, le fait que le docteur E._ n'a pas été invité à prendre position sur des critiques que, par appréciation anticipée des preuves, l'administration puis l'autorité cantonale de recours ont jugées infondées ne suffit pas pour dénier toute valeur probante à son rapport au motif qu'il aurait été lacunaire ou imprécis.
C'est en vain enfin que le recourant invoque les lignes directrices de qualité des expertises de psychiatrie d'assurance émises par la Société suisse de psychiatrie et psychothérapie, selon lesquelles un examen psychiatrique en plusieurs séances est justifié dans certaines circonstances. Le fait que le médecin traitant a un avis différent de celui de l'expert ne suffit en effet pas pour établir la complexité d'une situation médicale qui justifierait des investigations plus étendues qu'un unique entretien, d'autant moins que l'entretien en question a duré une matinée (cinq heures) et qu'il n'est pas le seul élément sur lequel reposent les conclusions de l'expert.
5.
Le recourant sollicite par ailleurs le remboursement par l'office intimé des honoraires versés à la doctoresse B._ pour son rapport du 28 août 2018 dans la mesure où il lui a permis de contester valablement les décisions des 3 et 28 janvier 2019. Son recours sur ce point est manifestement infondé compte tenu de ce qui précède (cf. consid. 4 supra).
6.
Entièrement mal fondé, le recours doit être rejeté.
7.
Vu l'issue du litige, les frais judiciaires sont mis à la charge de l'assuré (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 28 septembre 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Cretton