Faits :
A.
A._, ressortissant étranger, s'est installé en Suisse en juin 2010. Il a dispensé en qualité d'indépendant des cours de sports et de coaching parallèlement en France (jusqu'à la fin de l'année 2011) et en Suisse. Le 15 janvier 2016, il a déposé une demande de prestations de l'assurance-invalidité, invoquant les suites d'un accident de ski survenu le 27 mars 2012.
L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli l'avis des médecins traitants, notamment celui du docteur B._, spécialiste en neurologie (avant tout rapports des 4 septembre et 15 octobre 2015), puis demandé l'avis de son Service médical régional (SMR). Le 3 novembre 2016, la doctoresse C._, médecin auprès du SMR, a retenu que l'assuré était limité dans l'exercice de son activité habituelle depuis le 18 juin 2015 (capacité de travail n'excédant pas 30 %), mais qu'il disposait d'une capacité de travail entière dans une activité adaptée aux limitations décrites depuis le 21 avril 2016. A l'invitation de l'office AI, elle a précisé le 15 décembre 2016 n'avoir pas retenu une incapacité de travail durable après l'accident du 27 mars 2012. Par décision du 17 avril 2018, l'office AI a nié le droit de A._ à des prestations de l'assurance-invalidité (degré d'invalidité de 9 %).
B.
Statuant le 12 août 2020, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, a rejeté le recours formé par l'assuré et confirmé la décision du 17 avril 2018.
C.
A._ forme un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à l'octroi d'une rente d'invalidité dès le 15 juillet 2016. Subsidiairement, il demande le renvoi de la cause à l'autorité précédente pour instruction complémentaire.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (<ref-law>), que le Tribunal fédéral applique d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
2.
Compte tenu des conclusions et motifs du recours, le litige porte en instance fédérale sur le droit du recourant à une rente d'invalidité dès le 1 er juillet 2016. A cet égard, le jugement entrepris expose de manière complète les normes et la jurisprudence applicables, notamment celles relatives à la notion d'invalidité (<ref-law> et 4 al. 1 LAI), à son évaluation (<ref-law>) et à la valeur probante des rapports médicaux (<ref-ruling> consid. 5.1 p. 232; <ref-ruling> consid. 3 p. 352). Il suffit d'y renvoyer.
3.
3.1. La juridiction cantonale a retenu que l'incapacité de travail déterminante au sens de l'<ref-law> avait débuté le 18 juin 2015 (date à laquelle l'assuré avait chuté lors d'un footing). En se fondant sur les pièces médicales au dossier, en particulier sur l'avis du 25 janvier 2016 de la doctoresse D._, spécialiste en médecine interne générale et médecin traitant, elle a constaté qu'à la suite de l'accident du 27 mars 2012 le recourant n'avait en effet pas subi une incapacité de travail au-delà d'une période d'environ six mois. Pour la période postérieure au 18 juin 2015, les premiers juges ont considéré que les médecins traitants étaient unanimes à conclure que le recourant disposait d'une capacité de travail résiduelle de 30 % comme moniteur de sports et de 100 % dans une activité adaptée. Ils ont fixé l'exigibilité de l'activité de substitution au 21 avril 2016.
La juridiction cantonale a ensuite évalué le degré d'invalidité du recourant en procédant à une comparaison des revenus. Au titre du revenu sans invalidité, elle a retenu que de nombreux facteurs étrangers à l'invalidité semblaient avoir joué un rôle dans les fluctuations des revenus du recourant (38'900 fr. en 2010, 83'800 fr. en 2011, 42'200 fr. en 2012, 19'300 fr. en 2013 et 9'333 fr. en 2014, selon son compte individuel AVS), de sorte que ceux-ci n'étaient pas représentatifs de son potentiel économique en bonne santé. En se fondant sur l'Enquête suisse sur la structure des salaires (ESS), la juridiction cantonale a fixé le revenu sans invalidité du recourant à 71'703 fr. pour l'année 2016. S'agissant du revenu d'invalide, elle a constaté que le recourant n'avait pas repris une activité lucrative adaptée à ses limitations fonctionnelles, en dépit de l'avis de ses médecins traitants. Elle s'est donc référée aux données statistiques de l'ESS pour fixer le revenu annuel brut à 67'022 fr. à plein temps dans une activité adaptée en 2016. La comparaison des revenus avec et sans invalidité aboutissait à un degré d'invalidité de 7 % (6,5 %), insuffisant pour ouvrir droit à des prestations de l'assurance-invalidité.
3.2. Invoquant une appréciation arbitraire des preuves, le recourant fait valoir tout d'abord que les douleurs lombaires chroniques consécutives à la fracture lombaire survenue le 27 mars 2012 l'avaient empêché de reprendre une activité professionnelle à plus de 30 %. Le raisonnement de la juridiction cantonale selon lequel l'accident du 27 mars 2012 avait entraîné une incapacité de travail au plus tard jusqu'au 30 juin 2012 ne pouvait dès lors être suivi, ce d'autant moins qu'il avait encore bénéficié d'un arrêt de travail à 50 % au moins jusqu'à fin août 2012. Qui plus est, les premiers juges n'avaient pas procédé à des mesures d'instruction complémentaires malgré le fait que le docteur B._ avait confirmé que la fracture traumatique du 27 mars 2012 provoquait des douleurs lombaires chroniques (avis des 4 septembre et 15 octobre 2015).
Le recourant conteste ensuite le raisonnement qui a conduit la juridiction cantonale à fixer son revenu sans invalidité sur la base de données statistiques. Dans la mesure où il n'avait pas été capable de travailler à plus de 30 % depuis l'accident du 27 mars 2012, il requiert la prise en compte d'un revenu sans invalidité de 141'770 fr. 50, soit d'un montant correspondant selon lui à la moyenne des revenus des deux années précédant l'accident de mars 2012 (175'289 fr. en 2010 et 108'252 fr. en 2011). Il demande enfin à ce que son revenu d'invalide soit fixé à 40'050 fr., soit la moyenne des revenus qu'il avait effectivement réalisés en mettant pleinement en valeur sa capacité de travail résiduelle entre 2012 et 2015.
4.
4.1. En ce qui concerne la répercussion de l'accident du 27 mars 2012 sur sa capacité de travail, le recourant se borne en l'espèce à contredire les constatations de la juridiction cantonale par l'exposé de sa propre appréciation de la situation, sans démontrer en quoi celles-ci seraient manifestement inexactes (c'est-à-dire arbitraires au sens de l'art. 9 Cst.; <ref-ruling> consid. 6.7 p. 257; <ref-ruling> consid. 2.2 p. 313). En particulier, les premiers juges n'ont pas considéré que l'incapacité de travail survenue après l'accident du 27 mars 2012 avait duré au plus tard jusqu'au 30 juin 2012, mais bien - comme le recourant le mentionne également - pour une période d'environ six mois (soit jusqu'à fin septembre 2012). Une lecture attentive du jugement attaqué révèle qu'ils ont en outre suivi l'avis du médecin du SMR du 15 décembre 2016, lequel a dûment tenu compte des arrêts de travail délivrés par les médecins traitants à l'époque jusqu'à fin août 2012. Par son renvoi à des extraits des avis du docteur B._ des 4 septembre et 15 octobre 2015 - qui ne s'est du reste pas prononcé sur la capacité de travail antérieurement au 18 juin 2015 - le recourant n'établit pour le surplus nullement qu'il aurait subi une incapacité de travail durable avant le 18 juin 2015.
4.2. Ensuite, il n'y a pas matière à examiner plus avant l'argumentation du recourant portant sur son revenu sans invalidé, dès lors qu'elle repose sur l'affirmation erronée que l'atteinte à la santé déterminante pour son droit à des prestations de l'assurance-invalidité serait celle survenue le 27 mars 2012. Le recourant ne remet en particulier pas en cause le fait que les revenus qu'il a effectivement réalisés avant l'atteinte à la santé déterminante du 18 juin 2015 ne correspondaient manifestement pas à ce qu'il aurait été en mesure de réaliser en mettant pleinement en oeuvre son potentiel économique. Faute de données économiques exploitables, la juridiction cantonale s'est dès lors référée à juste titre à l'ESS pour déterminer le revenu sans invalidité.
4.3. Enfin, le recourant reprend en substance les mêmes critiques que celles qu'il avait déjà soulevées en instance cantonale sur la fixation de son revenu d'invalide, sans tenir compte de la motivation de l'arrêt entrepris. Ce faisant, il perd de vue que la détermination du revenu d'invalide suppose - à la différence de ce qui vaut dans le cadre de la fixation du revenu d'une personne sans invalidité - la prise en considération de l'obligation de diminuer le dommage (à ce sujet, voir <ref-ruling> consid. 3.2 p. 209). Cette exigence signifie notamment que l'assuré doit entreprendre de son propre chef tout ce qu'on peut raisonnablement attendre de lui pour atténuer le mieux possible les conséquences de son invalidité, sans se limiter au domaine dans lequel il travaillait avant la survenance de son atteinte à la santé (arrêt 9C_393/2008 du 27 janvier 2009 consid. 3.3). Aussi, dans la mesure où le recourant n'a pas repris une activité professionnelle adaptée aux limitations fonctionnelles décrites par ses médecins traitants à partir du 21 avril 2016, la juridiction cantonale a correctement évalué le revenu d'invalide sur la base de salaires fondés sur les données statistiques résultant de l'ESS (<ref-ruling> consid. 2.3 p. 593). Il n'y a pas lieu de s'écarter des considérations des premiers juges à ce sujet.
5.
Mal fondé, le recours doit être rejeté. Vu l'issue de la procédure, le recourant supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 2 novembre 2020
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : Meyer
Le Greffier : Bleicker