Faits :
A.
A._ a travaillé en dernier lieu comme délégué médical jusqu'au 30 septembre 2014. Le 25 février 2015, il a déposé une demande de prestations de l'assurance-invalidité.
L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a fait verser à son dossier celui de l'assurance perte de gain en cas de maladie (AXA Assurances SA) et recueilli l'avis de la doctoresse B._, spécialiste en médecine interne générale et médecin traitant (du 19 septembre 2015). Il a ensuite mis en oeuvre une évaluation médicale auprès de son Service médical régional (SMR). Dans son rapport du 3 mai 2016, le docteur C._, spécialiste en médecine physique, réadaptation et en rhumatologique, a retenu que la capacité de travail de l'assuré était entière d'un point de vue rhumatologique dans l'activité habituelle; dans la mesure où l'assuré avait bénéficié de l'implantation d'une prothèse totale de la hanche droite le 7 avril 2016, il a invité l'office AI à interroger les médecins traitants sur l'évolution de l'état de santé depuis janvier 2016. Par avis du 19 juillet 2016, le docteur D._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur et chirurgien traitant, a indiqué que l'assuré était d'un point de vue orthopédique en mesure de reprendre ses activités professionnelles habituelles à 100 % dès le 13 juin 2016.
Après avoir recueilli l'avis des docteurs E._, spécialiste en psychiatrie, psychothérapie et psychiatre traitant (notamment du 1 er mars 2017), et F._, spécialiste en neurologie (du 10 août 2017), l'office AI a mis en oeuvre une expertise psychiatrique. Dans un rapport rendu le 12 février 2018, le docteur G._, spécialiste en psychiatrie et psychothérapie, a diagnostiqué - avec répercussion sur la capacité de travail - des troubles mixtes de la personnalité avec des éléments de type narcissique, histrionique, borderline et paranoïaque (existant depuis la jeunesse) et des troubles obsessionnels-compulsifs avec pensées obsédantes et comportements compulsifs (existant depuis de nombreuses années). Selon l'expert, l'assuré disposait d'une capacité de travail dans une activité adaptée de 40 à 50 % au maximum, sans diminution de rendement. Le 9 mars 2018, le docteur E._ a déposé ses observations sur les conclusions de l'expertise, indiquant notamment que l'assuré pouvait travailler d'une manière stable à 30 % au maximum, avec un rendement variable d'environ deux tiers.
Après avoir pris l'avis de son SMR (des 14 et 27 mars 2018), l'office AI a octroyé à l'assuré une demi-rente d'invalidité dès le 1 er août 2015 (décisions des 10 octobre et 14 novembre 2018).
B.
L'assuré a déféré ces deux décisions au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, puis produit un avis de son psychiatre traitant du 10 mai 2019. A l'invitation du Tribunal cantonal, le docteur G._ s'est déterminé le 6 septembre 2019 sur les observations rédigées par le psychiatre traitant le 9 mars 2018. L'assuré a produit la lettre de sortie de la Clinique H._ du 5 novembre 2017, où il a séjourné du 11 au 23 octobre 2017, puis une nouvelle prise de position de son psychiatre traitant du 7 octobre 2019. Statuant le 28 avril 2020, après avoir joint les causes, le Tribunal cantonal a rejeté les recours et confirmé les décisions des 10 octobre et 14 novembre 2018.
C.
A._ forme un recours en matière de droit public contre ce jugement dont il demande la réforme en ce sens qu'il a droit à une rente entière d'invalidité dès le 1er août 2015. Subsidiairement, il demande l'annulation du jugement attaqué et le renvoi de la cause à la juridiction cantonale pour plus ample instruction et nouvelle décision sur la base des considérants.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (<ref-law>), que le Tribunal fédéral applique d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
2.
Le litige porte sur l'étendue du droit du recourant à une rente d'invalidité dès le 1er août 2015. Il s'agit singulièrement de savoir s'il a droit à une rente entière d'invalidité, comme il le prétend, ou à une demi-rente d'invalidité, comme l'a retenu la juridiction cantonale. A cet égard, le jugement entrepris expose les normes et la jurisprudence applicables, notamment celles relatives à la notion d'invalidité (<ref-law> et 4 al. 1 LAI), à l'évaluation du caractère invalidant des affections psychiques (<ref-ruling>; <ref-ruling>), au rôle des médecins (<ref-ruling> consid. 4 p. 99; <ref-ruling> consid. 4 p. 261) et à la valeur probante des rapports médicaux (<ref-ruling> consid. 5.1 p. 232; <ref-ruling> consid. 3 p. 352). Il suffit d'y renvoyer.
3.
3.1. En se fondant sur les conclusions du docteur G._ du 12 février 2018, la juridiction cantonale a retenu que le recourant disposait d'une capacité de travail de 45 % dans son activité habituelle ou toute autre activité. L'assuré souffrait de troubles mixtes de la personnalité (avec éléments de type narcissique, histrionique, borderline et paranoïaque) et de troubles obsessionnels-compulsifs avec pensées obsédantes et comportements compulsifs. En dépit du tableau clinique très impressionnant présenté par l'assuré, les premiers juges ont retenu que l'assuré conservait des ressources non négligeables, ainsi qu'une aptitude à fonctionner et à s'adapter dans des contextes professionnels qui lui garantissaient une certaine indépendance. La différence entre la capacité de travail retenu par l'expert (40 à 50 %) et celle mis en avant par le psychiatre traitant (30 % au maximum) s'expliquait en outre par le fait que le docteur E._ se référait strictement à ses observations cliniques. Contrairement à l'expert, le docteur E._ n'avait pas confronté ses observations cliniques aux autres éléments du dossier et notamment à la tendance du recourant à la dramatisation. Selon les premiers juges, le psychiatre traitant n'expliquait par ailleurs pas en quoi la reconnaissance des diagnostics de trouble bipolaire et de trouble de l'attention aurait une influence sur l'analyse des ressources disponibles. La question diagnostique n'avait dès lors pas d'influence sur le sort du litige, de sorte qu'elle pouvait souffrir de demeurer indécise. Enfin, s'il eût été certainement judicieux que l'office AI donnât au recourant des exemples d'activités adaptées qu'il pouvait encore exercer, les premiers juges ont considéré que le marché du travail proposait suffisamment de postes de travail adaptés à son fonctionnement psychique.
3.2. Invoquant une violation du droit fédéral et une constatation inexacte des faits, le recourant reproche tout d'abord à la juridiction cantonale d'avoir nié le fait qu'une personne présentant un comportement sexuel obsessionnel déviant et débordant, en conflit avec pratiquement tout le monde, ne pouvait tout simplement pas travailler d'une manière stable (peu importe le poste de travail, le domaine ou le taux d'occupation). En suivant "aveuglément" les développements et les conclusions du docteur G._, les premiers juges n'auraient ensuite pas examiné objectivement tous les documents à disposition. Il serait en particulier totalement arbitraire de ne pas avoir complété les avis médicaux du docteur E._ par les constatations du docteur F._, puis de les avoir "mises en relation" avec les conclusions du docteur G._. Il existerait en outre une contradiction flagrante entre les diagnostics retenus par tous les psychiatres, y compris l'expert, et la capacité de travail reconnue. Le docteur G._ ne serait d'ailleurs pas parvenu à trancher de manière précise la capacité de travail résiduelle (40-50 %) et à donner des exemples concrets de postes de travail adaptés. Le recourant invoque enfin différents éléments qui établiraient la partialité de la juridiction cantonale. Les premiers juges auraient rendu un arrêt comportant une contradiction flagrante en relation avec l'avis de la doctoresse B._ du 19 septembre 2015, auraient laissé à penser qu'il s'était montré particulièrement négligent dans le respect des convocations du SMR et auraient omis de constater qu'il n'avait pas eu besoin de ressources particulières pour rédiger un livre et d'instruire plus avant ce point (notamment en l'interrogeant).
4.
En ce qui concerne les aspects médicaux du litige (essentiellement psychiatriques), le recourant n'établit pas que les premiers juges auraient suivi de manière arbitraire les conclusions de l'expertise psychiatrique.
4.1. A l'inverse de ce que prétend le recourant, dans son rapport du 12 février 2018 complété le 6 septembre 2019, le docteur G._ a exposé les motifs qui l'ont conduit à ne pas retenir les diagnostics de trouble bipolaire (respectivement de trouble d'allure bipolaire) et de trouble déficitaire de l'attention et de l'hyperactivité posés par le psychiatre traitant. Si le recourant présentait un certain nombre des symptômes de ces troubles, l'expert a considéré que ces derniers pouvaient toutefois également être liés au dysfonctionnement de sa personnalité. Il a dès lors fondé ses conclusions sur la capacité de travail du recourant sur les diagnostics de troubles mixtes de la personnalité, avec éléments de type narcissique, histrionique, borderline et paranoïaque, et de troubles obsessionnels-compulsifs, avec pensées obsédantes et comportements compulsifs. Aussi, il est vrai qu'il existe une divergence d'opinion entre les docteurs G._ et le psychiatre traitant quant aux diagnostics. Les premiers juges ont cependant retenu sans arbitraire que cette controverse portait uniquement sur la dénomination diagnostique la mieux appropriée pour décrire l'état de souffrance du recourant (diagnostic différentiel). Comme ils l'ont relevé à juste titre, la divergence en question n'a aucune répercussion concrète sur la capacité de travail du recourant, dans la mesure où celle-ci a été appréciée de manière complète par l'expert, sans que le docteur E._ ne mette en évidence des limitations plus importantes que celles observées par son confrère G._. Il n'y avait dès lors pas lieu de demander à un expert judiciaire de trancher ladite controverse.
4.2. Quoi qu'en dise le recourant, les premiers juges ont ensuite dûment pris en considération l'ensemble des avis des médecins traitants et exposé sans arbitraire les motifs pour lesquels ils suivaient celles de l'expert psychiatre. Ils ont retenu que le docteur E._ s'était en effet strictement référé à ses observations cliniques, sans tenir compte des ressources et de la tendance du recourant à la dramatisation. Aussi, les premiers juges ont donné sans arbitraire la préférence aux conclusions du docteur G._, puisque celui-ci établissait la mesure de ce qui était raisonnablement exigible le plus objectivement possible, en fonction de la procédure probatoire structurée selon l'ATF <ref-ruling>.
En se limitant encore à citer dans son recours des extraits de l'avis du docteur F._ du 10 août 2017, A._ n'établit pour le surplus pas que le neurologue aurait mis en évidence des limitations entraînant une incapacité de travail plus importante que celle retenue par l'expert. D'une part, le neurologue ne s'est pas prononcé sur sa capacité de travail. D'autre part, le docteur G._ a indiqué expressément dans son expertise que les observations neuropsychologiques du docteur F._ concordaient "en majeure partie" avec ses propres constats cliniques (expertise, p. 32). On ne voit pas à cet égard la discordance dont se prévaut le recourant. Finalement, il n'est pas rare qu'un expert, à l'instar du docteur G._, évalue l'étendue de la capacité de travail en donnant une fourchette en pourcentage, de sorte que l'étonnement du recourant à ce sujet est vain.
5.
Les griefs de "partialité" des premiers juges dans le sens invoqué par le recourant relèvent, comme il l'indique du reste, de l'établissement arbitraire des faits. En ce qui concerne la soi-disante contradiction de l'arrêt attaqué quant à la capacité de travail retenue par la doctoresse B._ (avis du 19 septembre 2015), la critique du recourant est dénuée de fondement. L'assuré cite en effet des extraits de la partie "En Fait" du jugement attaqué, qui exposent d'une part l'avis précité du médecin et d'autre part l'interprétation qu'en a donnée l'intimé (correspondance du 3 septembre 2018, p. 2). Contrairement à ce qu'il prétend ensuite, les premiers juges n'ont accordé aucune importance à une éventuelle négligence de sa part quant aux convocations du SMR, de sorte qu'il invoque en vain une "prémisse erronée" de leur part. Enfin, le recourant n'établit pas en quoi les premiers juges auraient renoncé de manière arbitraire à instruire les circonstances de la publication de son livre afin de mieux déterminer ses ressources. Le fait d'avoir cherché en vain pendant une certaine durée à se faire publier n'est pas déterminant dans ce contexte.
6.
C'est finalement en vain que le recourant affirme que son atteinte à la santé rendrait illusoire toute capacité de travail ainsi que la recherche d'une activité adaptée sur le marché du travail. En se limitant à opposer sa propre appréciation de son atteinte à la santé et de ses possibilités de reconversion professionnelle à celle de la juridiction cantonale, le recourant développe un grief appellatoire non pertinent. Les premiers juges ont retenu par ailleurs sans arbitraire qu'il pouvait continuer à exercer son activité habituelle de délégué médical à temps partiel, en se référant aux conclusions de l'expertise psychiatrique. Ils ont au demeurant constaté qu'il existait suffisamment d'autres places de travail adaptées à sa problématique psychique sur le marché général du travail (activités semi-indépendantes, sans pression exagérée). Il n'y a pas lieu de s'écarter de ces constatations.
7.
Mal fondé, le recours doit être rejeté. Les frais judiciaires de la procédure fédérale doivent être mis à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 10 septembre 2020
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : Meyer
Le Greffier : Bleicker