Faits :
A.
A._, né en 1975, a travaillé en qualité de gérant de son restaurant depuis 2003. En raison d'un état dépressif et d'une infection par le VIH ayant induit une incapacité partielle de travail depuis septembre 2015, une annonce de détection précoce a été effectuée auprès de l'assurance-invalidité. En mai 2016, l'assuré a déposé une demande de prestations de l'assurance-invalidité.
L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli notamment l'avis du professeur B._, médecin adjoint au Centre C._ à l'Hôpital D._ (rapports des 2 novembre 2016 et 2 février 2017). Il a mis en oeuvre une expertise pluridisciplinaire, neurologique, psychiatrique avec un volet neuropsychologique et de médecine interne qui a été réalisée par le Centre d'Expertises Médicales (ci-après: CEMed). Dans leur rapport établi le 14 mai 2018, les docteurs E._, spécialiste en médecine interne, F._, spécialiste en psychiatrie et psychothérapie, et G._, spécialiste en neurologie, ainsi que par le neuropsychologue H._, ont diagnostiqué un trouble mixte de la personnalité décompensé (F61), une anxiété généralisée (F41.1) et une infection VIH traitée. Selon eux, la capacité de travail était nulle dans l'activité habituelle mais de 50 % dans une activité adaptée aux limitations fonctionnelles retenues, depuis septembre 2015.
Par décision du 22 janvier 2019, l'office AI a alloué à l'assuré une demi-rente d'invalidité à compter du 1 er décembre 2016, fondée sur un degré d'invalidité de 53 %.
B.
A._ a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en concluant à l'octroi d'une rente entière d'invalidité à partir du 1 er décembre 2016.
Par jugement du 30 avril 2020, la juridiction cantonale a très partiellement admis le recours et réformé la décision administrative en ce sens que l'assuré a droit à une demi-rente d'invalidité à partir du 1 er novembre 2016.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. En substance, il conclut principalement au versement d'une rente entière et subsidiairement au renvoi de la cause aux "autorités inférieures" pour éventuel complément d'instruction et nouvelle décision sur les prestations dans le sens des considérants.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
En l'occurrence, dans un chapitre intitulé "bref résumé des faits", le recourant présente sur une dizaine de pages son propre état de fait qui divergerait avec "quelques nuances minimes" des faits constatés par la juridiction cantonale. Dans la mesure toutefois où il ne soulève aucun grief d'arbitraire dans l'établissement des faits, il n'y a pas lieu d'en tenir compte.
2.
Compte tenu des conclusions et des motifs du recours, le litige porte sur le droit de l'assuré à une rente supérieure à la demi-rente reconnue par la juridiction cantonale à partir du 1er novembre 2016.
La juridiction cantonale a exposé de manière complète les règles applicables à la solution du litige, en particulier celles sur les conditions du droit à la rente (<ref-law> et 16 LPGA), le principe de la libre appréciation des preuves (art. 61 let. c LPGA) ainsi que la valeur probante des rapports médicaux (<ref-ruling> consid. 5.1 p. 232 et l'arrêt cité). Il suffit d'y renvoyer.
3.
3.1. Dans la mesure tout d'abord où le recourant fait grief à l'instance précédente d'avoir écarté son argument relatif au refus de suivre une réadaptation, il ne s'en prend pas aux considérations des premiers juges selon lesquelles l'office intimé pouvait se prononcer directement sur le droit à la rente. De plus, s'il soutient que les déclarations verbalisées par l'intimé corroborent les errements et la dimension psychotique de ses atteintes, de sorte que ses propos auraient dû être pris en compte avec circonspection, il n'en tire aucune conclusion concrète susceptible de modifier l'issue du litige. Il n'y a pas lieu de se prononcer plus avant sur sa critique.
3.2. Le recourant reproche ensuite aux experts du CEMed - dont la juridiction cantonale a suivi les conclusions pour fixer la capacité de travail - de n'avoir pas tenu compte des atteintes neurologiques établies par les investigations pratiquées à l'Hôpital D._, bien qu'ils aient mentionné "les rapports de février 2017 et novembre 2016" (sous-entendu: les rapports du professeur B._ des 2 février 2017 et 2 novembre 2016). A son avis, ces atteintes ont une lourde répercussion dans toute activité professionnelle même adaptée. En ce qui concerne l'examen neuropsychologique pratiqué par le neuropsychologue H._ à la demande des médecins du CEMed, le recourant relève que le prénommé n'a pas pu se prononcer sur un diagnostic neuropsychologique, tout en concluant à diverses limitations.
Ces arguments ne lui sont d'aucun secours. A l'inverse de ce que prétend le recourant, les experts du CEMed ont dûment pris en considération les rapports du professeur B._ dont le bilan neuropsychologique avait montré un déficit attentionnel. Par ailleurs on ne saurait tirer de l'avis de ce médecin que les troubles discutés auraient une "lourde répercussion dans toute activité professionnelle", dès lors qu'il ne s'est pas prononcé sur la capacité de travail de l'assuré.
Par ailleurs, si aucun diagnostic neuropsychologique n'a été posé à l'issue de l'expertise pluridisciplinaire, l'examinateur neuropsychologue a dûment expliqué qu'en raison de signes de défaut d'effort pendant les épreuves, il ne lui était pas possible de se prononcer sur l'intensité réelle de troubles neuropsychologiques, tout en reconnaissant quelques limitations sur ce plan. L'absence d'un tel diagnostic ne justifie dès lors pas de mettre d'autres investigations en oeuvre comme le recourant le souhaite.
3.3. Finalement, le recourant se plaint d'une violation de son droit à la preuve. A son avis, la juridiction cantonale a "trop vite" privilégié les conclusions du CEMed sur le plan psychique au détriment des constats de ses médecins traitants, les experts ayant selon lui mal évalué l'incidence de ses troubles sur son comportement. L'assuré ajoute que ses droits de partie ont également été violés par le refus d'attendre les résultats d'investigations relatifs au syndrome de Susac qu'aurait proposées le professeur B._.
Ce moyen n'est pas mieux fondé. Tout d'abord, la seule référence "aux constats" des médecins traitants sans discussion précise des motifs qui ont conduit la juridiction cantonale à faire siennes les conclusions du CEMed sur le plan psychiatrique relève d'une argumentation purement appellatoire, qui ne suffit pas à s'écarter des constations du jugement cantonal. Ensuite, comme l'a dûment retenu l'autorité cantonale de recours, sur la base du rapport du professeur B._ du 2 février 2017, les experts du CEMed ont retenu que les éléments mis en évidence par l'IRM cervicale auraient pu suggérer un syndrome de Susac, mais que des symptômes n'avaient néanmoins pas été trouvés (expertise, p. 19-20). Quant à l'investigation suggérée par le professeur B._, elle ne portait pas sur le syndrome de Susac, mais sur une éventuelle atteinte du système nerveux central par le VIH. Dans ces circonstances, la juridiction cantonale pouvait, par appréciation anticipée des preuves nullement entachée d'arbitraire, suivre le point de vue des experts et renoncer à ordonner un complément d'instruction.
3.4. Vu ce qui précède, le recours est infondé.
4.
Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 18 février 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Berthoud