Faits :
A.
Dans la nuit du 15 au 16 décembre 2012, A._ a été hospitalisé au Service de neurochirurgie de l'Hôpital B._ en raison d'un traumatisme crânio-cérébral (TCC) avec perte de connaissance après une bagarre. Il a séjourné dans ce service jusqu'au 27 décembre 2012, puis dans le service de neuroréhabilitation de l'Hôpital B._ jusqu'au 25 janvier 2013. Il a déposé une demande de prestations de l'assurance-invalidité le 26 mai 2014.
L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) a recueilli l'avis des médecins traitants, dont ceux des docteurs C._, spécialiste en médecine interne générale, D._, médecin chef du Service d'oto-rhino-laryngologie et de chirurgie cervico-faciale de l'Hôpital B._, E._, spécialiste en psychiatrie, psychothérapie d'enfants et d'adolescents, F._, spécialiste en neurologie et médecin associé auprès de l'unité de neuroréhabilitation de l'Hôpital B._, et G._, spécialiste en médecine interne générale et chef de clinique adjoint auprès de l'unité de neuroréhabilitation de l'Hôpital B._. Il a ensuite mis en oeuvre une expertise pluridisciplinaire auprès du Centre d'Expertises Médicales de Nyon (CEMed). Dans un rapport rendu le 23 février 2017, les docteurs H._, spécialiste en médecine interne générale, I._, spécialiste en oto-rhino-laryngologie, J._, spécialiste en psychiatrie et psychothérapie, et K._, spécialiste en neurologie, ont diagnostiqué - avec répercussion sur la capacité de travail - un traumatisme crânio-cérébral (du 16 décembre 2012), avec contusions temporale inférieures bilatérales et céphalées, des troubles attentionnels et une irritabilité séquellaire, ainsi qu'un état de stress post-traumatique (depuis décembre 2012); selon les médecins, l'assuré ne pouvait plus exercer son activité habituelle de barman et videur de boîte de nuit, mais disposait d'une capacité de travail entière dans une activité adaptée aux limitations fonctionnelles décrites depuis le 25 janvier 2013, avec une diminution de rendement de 20 %. Le 27 mars 2017, le docteur L._, spécialiste en médecine interne générale et médecin auprès du Service médical régional de l'assurance-invalidité (SMR), a fixé la date de l'exigibilité de la reprise de l'activité adaptée décrite par les médecins du CEMed au 15 juin 2014. A l'invitation de l'administration, les médecins du CEMed ont complété leur expertise le 5 mai 2017.
L'assuré s'est opposé aux conclusions des médecins du CEMed et a produit un nouvel avis des docteurs E._ (du 14 septembre 2017) et M._, spécialiste en neurologie et médecin associé auprès de l'unité de neuroréhabilitation de l'Hôpital B._ (des 23 octobre 2017 et 5 juillet 2018), ainsi que les conclusions d'un examen neuropsychologique (rapport du 1 er décembre 2017). Par décision du 3 octobre 2018, l'office AI a nié le droit de A._ à des prestations de l'assurance-invalidité.
B.
A._ a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, puis produit une copie de son dossier constitué par les médecins de l'Hôpital B._, ainsi qu'un nouvel avis du docteur E._ (du 5 février 2019). Statuant le 2 juin 2020, le Tribunal cantonal a rejeté le recours et confirmé la décision du 3 octobre 2018.
C.
A._ forme un recours en matière de droit public contre ce jugement dont il demande la réforme en ce sens qu'il a droit à une rente entière de l'assurance-invalidité dès le 1er novembre 2014 avec intérêts à 5 %. Subsidiairement, il demande le renvoi de la cause à l'autorité précédente ou à l'office AI pour instruction complémentaire.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (<ref-law>), que le Tribunal fédéral applique d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
2.
Le litige porte sur le droit du recourant à une rente de l'assurance-invalidité à compter du 1 er novembre 2014, soit six mois après le dépôt de sa demande de prestations (<ref-law>). A cet égard, le jugement entrepris expose de manière complète les bases légales et la jurisprudence applicables, notamment celles relatives à l'évaluation du caractère invalidant des affections psychiques (<ref-ruling>; <ref-ruling>) et à la valeur probante des rapports médicaux (<ref-ruling> consid. 5.1 p. 232; <ref-ruling> consid. 3 p. 352). Il suffit d'y renvoyer.
3.
3.1. En se fondant sur les conclusions de l'expertise des médecins du CEMed du 23 février 2017, complétées le 5 mai 2017, la juridiction cantonale a retenu que le recourant présentait une capacité de travail entière dans une activité adaptée au plus tard le 1 er novembre 2014, avec une baisse de rendement de 20 %.
3.2. Invoquant une appréciation arbitraire de sa situation médicale, le recourant reproche à la juridiction cantonale de s'être fondée sur une expertise qui sous-estimait clairement le degré de gravité de ses atteintes à la santé. Il fait valoir que les experts ont procédé à une évaluation superficielle de sa situation médicale, voire orientée, et qu'ils se sont abstenus de confronter leurs conclusions à celles des spécialistes de l'Hôpital B._. Dans la mesure où les médecins traitants ont fait état d'une capacité de travail résiduelle de l'ordre de 20 % à 50 %, mais de "manière plus fréquente" de 30 %, il soutient qu'il ne serait par ailleurs plus en mesure de se réintégrer sur le marché ouvert du travail.
3.3. Si le recourant se réfère certes à l'interdiction de l'arbitraire (art. 9 Cst.), il se limite à présenter en l'espèce une appréciation de la répercussion de ses atteintes à la santé sur sa capacité de travail différente de celle retenue par l'autorité précédente sans démontrer le caractère arbitraire de celle-ci. Aussi, en dépit de l'énumération de ses limitations fonctionnelles et de la référence à quelques avis de ses médecins traitants, notamment à ceux des docteurs E._ et G._, il n'apporte aucun élément précis, objectivement vérifiable et suffisamment pertinent pour remettre en cause les conclusions de l'expertise pluridisciplinaire suivies par la juridiction cantonale. Il en va ainsi, singulièrement, lorsqu'il affirme sans autre explication que l'expert psychiatre du CEMed a mis en évidence une "très longue liste" de symptômes "clairement de la lignée dépressive", qu'une perte de poids de sept kilos en quatre ans est "significati[ve] d'un mal-être des plus évidents", qu'il ne comprend que "difficilement" pourquoi son état de stress post-traumatique n'engendrerait aucune restriction au niveau de sa capacité de travail ou qu'il s'attendait à ce que l'appréciation et les conclusions de l'expertise fassent l'objet d'une approche bien plus exhaustive. De même, il affirme que les experts du CEMed ont "omis" de qualifier son TCC de sévère, mais il ne prend nullement position sur la motivation des experts, reprise implicitement par la juridiction cantonale, selon laquelle le traumatisme n'avait pas été à haute énergie car il manquait des lésions axonales diffuses et focales au-delà des contusions temporales (expertise du CEMed, p. 35). Enfin, il s'écarte des faits constatés par la juridiction cantonale lorsqu'il affirme que les experts du CEMed n'ont pas mentionné sa surdité mixte à droite, alors que les premiers juges ont retenu expressément que l'oto-rhino-laryngologiste du CEMed avait constaté une surdité à droite modérée, justifiant le port d'un appareil acoustique et accompagnée d'un acouphène. Le docteur D._ a par ailleurs indiqué que cette surdité unilatérale droite n'entraînait aucune limitation fonctionnelle (avis du 9 janvier 2015). Dans ces circonstances, il n'y a pas lieu de s'écarter de l'appréciation des preuves de la juridiction cantonale.
3.4. Dans la mesure où le recourant échoue à démontrer l'arbitraire dans les constatations cantonales relatives à la capacité résiduelle de travail (de 100 % avec une baisse de rendement de 20 %), il n'y a pas matière à examiner la suite de son argumentation portant sur l'exploitation d'une capacité de travail résiduelle sur le marché du travail réduite à 30 % selon lui. Au demeurant, selon les constatations cantonales, il existe un nombre suffisant d'emplois adaptés à ses limitations fonctionnelles.
4.
Les considérants qui précèdent conduisent au rejet du recours, en application de la procédure simplifiée de l'<ref-law>. Vu l'issue de la procédure, le recourant supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 13 octobre 2020
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : Meyer
Le Greffier : Bleicker