Faits :
A.
A._, ressortissant russe né en 1987, est atteint d'une diplégie spastique congénitale. Il est entré en Suisse le 24 septembre 2008, puis s'est vu délivrer par le Secrétariat d'État aux migrations une admission provisoire. Il a séjourné dans un établissement psychiatrique (du 14 au 22 septembre 2010 et du 6 au 15 mars 2013) et a subi une résection de l'exostose au niveau du fémur distal interne droit le 11 janvier 2011. Le 19 décembre 2014, il a déposé une demande de prestations de l'assurance-invalidité.
L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli l'avis des médecins traitants, dont celui de la doctoresse B._, spécialiste en médecine interne générale et médecin traitant (notamment du 26 septembre 2017), puis soumis l'assuré à une expertise pluridisciplinaire au Centre d'expertise médicale de Nyon (CEMed). Dans leur rapport daté du 21 juin 2018, les docteurs C._, spécialiste en médecine interne générale, D._, spécialiste en psychiatrie et psychothérapie, et E._, spécialiste en neurologie, ont diagnostiqué - avec répercussion sur la capacité de travail - une diplégie spastique congénitale. Les médecins ont indiqué que l'assuré pouvait travailler à 65 % dans une activité de type employé de commerce ou toute autre activité adaptée aux limitations fonctionnelles décrites depuis toujours, sans diminution de rendement. Par décision du 29 avril 2019, l'office AI a nié le droit de l'assuré à des prestations de l'invalidité.
B.
L'assuré a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et produit notamment l'avis des docteurs F._, spécialiste en psychiatrie et psychothérapie (du 17 avril 2019), et B._ (des 10 et 27 mai 2019). Statuant le 9 septembre 2020, le Tribunal cantonal a rejeté le recours formé par l'assuré et confirmé la décision du 29 avril 2019.
C.
A._ forme un recours contre cet arrêt et conclut en substance au renvoi de la cause à l'autorité précédente pour instruction complémentaire au sens des considérants.

Considérant en droit :
1.
Le recours, non intitulé, sera traité comme un recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée.
2.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (<ref-law>), que le Tribunal fédéral applique d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
3.
3.1. Le litige porte sur le droit du recourant à des prestations de l'assurance-invalidité, notamment à une rente d'invalidité. A cet égard, le jugement entrepris expose de manière complète les dispositions légales et les principes jurisprudentiels applicables à la notion d'invalidité (<ref-law> et <ref-law>) et à son évaluation (<ref-law> et <ref-law>). Il suffit d'y renvoyer.
3.2. On rappellera que l'invalidité est réputée survenue dès qu'elle est, par sa nature et sa gravité, propre à ouvrir droit aux prestations entrant en considération (<ref-law>). Une fois que l'invalidité est survenue (au sens de l'<ref-law>, en relation avec les art. 36 al. 1 et 28 al. 1 LAI), le fait qu'une aggravation de l'état de santé de l'assuré (ou des changements de sa situation économique et personnelle) conduise ultérieurement à revoir le taux d'invalidité et à modifier le droit initial à une rente d'invalidité ne permet pas de retenir l'existence d'un nouveau cas d'assurance (arrêt 9C_179/2020 du 16 novembre 2020 consid. 5.3 et les références, destiné à publication).
4.
4.1. En se fondant sur les conclusions de l'expertise pluridisciplinaire du CEMed, la juridiction cantonale a constaté que le recourant souffrait d'une diplégie spastique depuis l'enfance et que l'ensemble de ses plaintes étaient étroitement liées à cette atteinte à la santé congénitale. A l'évidence, selon la juridiction cantonale, la diplégie spastique avait entravé la formation scolaire et professionnelle de l'assuré puisqu'il n'avait jamais été en mesure d'exercer une quelconque activité lucrative et qu'il était venu en Suisse pour y recevoir des soins. Elle a retenu que la capacité de travail et de gain du recourant avait dès lors été limitée de manière notable depuis l'âge à partir duquel il aurait pu, théoriquement, accéder au marché du travail et gagner sa vie. Aussi, l'invalidité était survenue avant l'arrivée en Suisse du recourant le 24 septembre 2008. Il ne pouvait par conséquent pas se prévaloir d'une durée de cotisations suffisante au moment de la survenance de l'invalidité pour prétendre l'octroi d'une rente.
4.2. Invoquant une appréciation arbitraire des preuves, le recourant reproche à la juridiction cantonale de s'être fondée sur le rapport d'expertise du 21 juin 2018 pour nier une péjoration de son état de santé depuis son arrivée en Suisse. Il fait valoir tout d'abord qu'il a présenté plusieurs pathologies graves et ayant potentiellement des répercussions sur sa capacité de travail depuis son arrivée en Suisse, notamment un trouble dépressif récurrent, une dépendance à l'alcool, des migraines et une possible personnalité émotionnellement labile de type impulsif. Ces éléments démontraient selon lui à l'évidence une péjoration de son état de santé, ce d'autant plus que les experts du CEMed ne s'étaient aucunement déterminés sur une éventuelle péjoration de son état de santé survenue entre 2008 et 2013. Il soutient ensuite que les experts du CEMed ont procédé à une évaluation de sa capacité de travail sans données fiables, de manière faussée et qu'ils ont interprété certains éléments en sa défaveur. Compte tenu des lacunes et contradictions de l'expertise, il demande à ce que la cause soit retournée à l'autorité précédente pour qu'elle mette en oeuvre une expertise pluridisciplinaire neutre.
4.3. En l'espèce, en se limitant à affirmer que son état de santé s'était péjoré après son arrivée en Suisse, le recourant ne met pas en évidence en quoi les constatations de la juridiction cantonale sur la survenance de l'invalidité antérieurement à ce moment seraient manifestement inexactes (c'est-à-dire arbitraires au sens de l'art. 9 Cst.; <ref-ruling> consid. 6.7 p. 257; <ref-ruling> consid. 2.2 p. 313). De plus, à l'inverse de ce qu'il prétend, l'autorité précédente a dûment pris en considération ses différentes atteintes à la santé, sur les plans de la médecine interne, de la neurologie et de la psychiatrie, ainsi que les conséquences de ses hospitalisations (en 2010, 2011 et 2013) sur sa capacité de travail, puis retenu que les pièces médicales versées au dossier ne justifiaient pas de s'écarter des conclusions de l'expertise du CEMed. Elle a en particulier constaté sans arbitraire que le recourant ne présentait pas de limitations sur les plans psychique ou mental et que les trois hospitalisations de celui-ci avaient entraîné des incapacités de travail transitoires. En vertu du principe de l'unicité de la survenance de l'invalidité (supra consid. 3.2), la juridiction cantonale n'avait pour le surplus pas à instruire davantage les conséquences d'une éventuelle péjoration de la diplégie spastique congénitale sur la capacité de travail du recourant après son entrée en Suisse. Les différents griefs du recourant ne révèlent par conséquent aucune trace d'arbitraire dans les constatations des premiers juges.
5.
Mal fondé, le recours doit être rejeté en application de la procédure simplifiée de l'<ref-law>. Le recourant supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 29 décembre 2020
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Bleicker