Faits :
A.
A.a. A._, né en 1968, exerçait la profession de plâtrier-peintre à titre indépendant depuis le mois de janvier 2005. Le 24 octobre 2008, il a chuté d'un toit et a subi une fracture du coude droit, traitée par voie chirurgicale, notamment par la mise en place d'une prothèse. En incapacité de travail depuis lors, A._ a déposé, le 12 juin 2009, une demande de prestations de l'assurance-invalidité auprès de l'Office de l'assurance-invalidité du canton de Vaud (ci-après: l'office AI).
La reprise de son ancienne activité n'étant pas exigible, l'assuré a entamé, sous l'égide de l'assurance-invalidité, un apprentissage dans le but d'obtenir un certificat fédéral de capacité de dessinateur en bâtiment, qui a été interrompu en raison des douleurs dont il souffrait au membre supérieur droit. Dès le 29 novembre 2010, il a suivi plusieurs stages d'orientation professionnelle, des cours ainsi qu'une formation (AFP) d'employé de bureau, qui s'est achevée le 31 juillet 2013. L'assuré a complété son cursus par une formation d'employé de commerce (CFC) auprès d'une agence immobilière et a terminé avec succès sa formation durant l'été 2015. Après avoir été placé à l'essai, l'assuré a été engagé au sein de B._ Sàrl à partir du 1er juin 2016 en qualité de collaborateur au service comptabilité. Du 30 juin au 7 juillet 2017, il a séjourné en milieu hospitalier en raison de troubles psychiques.
A.b. Face à ces nouveaux éléments, l'office AI a confié une expertise pluridisciplinaire (médecine interne, rhumatologie et psychiatrie) à la Clinique romande de réadaptation (CRR) qui a rendu son rapport le 5 juin 2018. Après avoir consulté son Service médical régional (SMR), il a reconnu à l'assuré une demi-rente d'invalidité du 1er décembre 2009 au 31 juillet 2017 et une rente entière d'invalidité à compter du 1er août 2017, le versement de la rente ayant été suspendu du 1er mars 2011 au 30 avril 2016 (décisions du 19 septembre 2019).
B.
Saisie d'un recours contre les décisions de l'office AI, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud l'a rejeté par arrêt du 12 novembre 2020.
C.
A._ interjette un recours en matière de droit public contre cet arrêt, en concluant à sa réforme dans le sens de la reconnaissance de son droit à une rente entière d'invalidité dès le 1er décembre 2009. Subsidiairement, il conclut au renvoi de la cause à la juridiction cantonale pour complément d'instruction.
Considérant en droit :
1.
1.1. Aucun fait nouveau ni preuve nouvelle ne peut être présenté devant le Tribunal fédéral à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF). L'avis du docteur C._, spécialiste FMH en chirurgie orthopédique et traumatologie de l'appareil locomoteur, du 2 décembre 2020, produit par le recourant devant la Cour de céans est un moyen de preuve postérieur au prononcé de l'arrêt entrepris, le 12 novembre 2020, soit un véritable novum (ATF 143 V 19 consid. 1.2 et les arrêts cités). Il n'est dès lors pas admissible.
1.2. Le recours en matière de droit public (au sens des art. 82 ss LTF) peut être formé pour violation du droit (circonscrit par les art. 95 et 96 LTF). Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est limité ni par l'argumentation de la partie recourante ni par la motivation de l'autorité judiciaire précédente. Il statue sur la base des faits établis par celle-ci (art. 105 al. 1 LTF) mais peut rectifier ou compléter d'office les lacunes ou les erreurs manifestes (art. 105 al. 2 LTF). Il n'examine en principe que les griefs motivés (art. 42 al. 2 LTF), en particulier s'ils concernent la violation des droits fondamentaux (art. 106 al. 2 LTF), et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Le recourant peut critiquer la constatation des faits, qui peuvent exercer une influence sur le sort du litige, uniquement s'ils ont été établis en violation du droit ou d'une façon manifestement inexacte (art. 97 al. 1 LTF), notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 145 V 188 consid. 2).
1.3. Les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de la personne assurée et l'exigibilité - pour autant qu'elles ne soient pas fondées sur l'expérience générale de la vie - relèvent d'une question de fait et peuvent donc être contrôlées par le Tribunal fédéral uniquement sous l'angle restreint de l'arbitraire (ATF 142 V 178 consid. 2.4; 137 V 210 consid. 3.4.2.3; 132 V 393 consid. 3.2). L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des conclusions insoutenables (ATF 140 III 264 consid. 2.3). Il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable (ATF 143 IV 347 consid. 4.4; 141 I 70 consid. 2.2; 140 I 201 consid. 6.1). Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (ATF 146 II 111 consid. 5.1.1; 143 I 321 consid. 6.1; 141 I 49 consid. 3.4).
2.
2.1. Le litige porte sur le droit du recourant à une rente entière d'invalidité du 1er décembre 2009 au 31 juillet 2017, au lieu de la demi-rente qui lui a été reconnue pour cette période.
2.2. A cet égard, l'arrêt attaqué expose de manière complète les dispositions légales et les principes jurisprudentiels applicables à la notion d'invalidité (art. 8 LPGA et art. 4 LAI), à l'échelonnement des rentes selon le degré d'invalidité (art. 28 al. 2 LAI) et à l'évaluation du taux d'invalidité (art. 16 LPGA et art. 28a al. 1 LAI). Il en va de même de la jurisprudence afférente à l'appréciation des preuves, en particulier des rapports médicaux (ATF 134 V 231 consid. 5.1; 125 V 351 consid. 3a). On peut y renvoyer.
3.
3.1. Le recourant reproche aux premiers juges d'avoir procédé à une appréciation arbitraire des preuves en retenant qu'il disposait d'une capacité résiduelle de travail de 80 % dans une activité adaptée à ses limitations fonctionnelles depuis l'automne 2009 sur la base des conclusions de l'expertise de la CRR. Il estime qu'il aurait fallu déterminer l'étendue de sa capacité de travail en fonction des rapports du docteur C._ et des résultats des mesures d'ordre professionnel.
3.2. La cour cantonale a fait siennes les conclusions des spécialistes de la CRR en constatant que l'activité d'aide de bureau et d'employé de commerce, dans laquelle l'assuré s'était reconverti n'était pas totalement adaptée [aux limitations fonctionnelles du membre supérieur droit], car elle nécessitait fréquemment l'usage des deux mains. Elle a néanmoins considéré que dans une activité totalement adaptée, excluant pratiquement l'utilisation du membre supérieur droit, une capacité de travail de 80 % était exigible sur le plan médical, depuis l'automne 2009. A cet égard, contrairement aux allégations du recourant, l'appréciation des médecins de la CRR est fondée sur des éléments médicaux objectivables, dès lors qu'elle résulte des diagnostics posés à la suite de l'examen clinique de l'assuré et du dossier mis à disposition, dont celui d'imagerie. Les experts ont notamment mis en évidence les atteintes au coude droit entraînant des limitations fonctionnelles qui n'étaient pas entièrement compatibles avec l'activité d'employé de commerce.
En tant que le recourant se réfère ensuite aux rapports du docteur C._ des 11 février 2014 et 7 décembre 2016, dont il ressortirait qu'il ne "peut pas dépasser un rendement de 40 %", il semble perdre de vue que ce spécialiste s'exprimait par rapport à l'activité d'employé de commerce ("saisie de comptabilité"), qui ne constitue précisément pas, selon les experts de la CRR, une activité adaptée à ses limitations fonctionnelles. Par son argumentation largement appellatoire, le recourant ne parvient pas non plus à tirer un argument en sa faveur du courrier de son ancien employeur du 10 août 2015, qui confirme explicitement que l'activité d'employé de commerce n'est pas adaptée à son handicap ("[...], nous sommes convaincus que la formation qu'il a suivie, couronnée par le certificat qu'il a obtenu au terme de nombreux sacrifices, n'est pas adaptée à son handicap"; p. 2 de la lettre de la société D._ du 15 août 2015). Il en va de même du rapport d'évaluation des performances d'un placement à l'essai auprès de B._ Sàrl, auquel le recourant se reporte vainement, puisqu'il en résulte qu'en raison de l'atteinte à la santé, l'adaptation à l'activité d'employé de commerce est très difficile et le rendement diminué. Quant à la décompensation de l'état dépressif récurrent, dont se prévaut le recourant, force est de constater qu'elle a été dûment prise en compte, dès lors qu'une incapacité de travail de 100 % dans toute activité a été admise à partir du 3 mai 2017, ce qui a donné lieu à la reconnaissance d'une rente entière d'invalidité à partir du 1er août 2017, soit la période postérieure à celle concernée par le litige. Par conséquent, c'est sans arbitraire que les premiers juges se sont fondés sur la capacité de travail résiduelle exigible, telle qu'elle a été définie sur le plan médical par les experts de la CRR.
4.
4.1. Par un second grief, le recourant invoque une violation de l'art. 16 LPGA et reproche à la cour cantonale de ne pas avoir tenu compte d'une capacité de travail de 40 % qu'il avait dans l'activité de collaborateur au service de comptabilité chez B._ Sàrl, soit l'activité dans laquelle il s'était reconverti professionnellement. Il se réfère par ailleurs à un arrêt 8C_837/2019 du 16 septembre 2020, dans lequel le Tribunal fédéral avait considéré que l'activité de cariste exercée par l'assuré, qui ne résultait pas de mesures de réadaptation au sens des art. 8 ss LAI mais uniquement d'une mesure d'intervention précoce (art. 7d al. 2 let. b LAI), ne permettait pas de considérer d'emblée que cette activité mettait pleinement en valeur la capacité de travail résiduelle exigible. D'après le recourant, il faudrait en déduire, a contrario, que l'activité exercée ensuite d'une "vraie" mesure de réadaptation mettrait pleinement en valeur la capacité de travail résiduelle exigible.
4.2. Le revenu d'invalide doit être évalué avant tout en fonction de la situation professionnelle concrète de l'assuré. Lorsque l'activité exercée après la survenance de l'atteinte à la santé repose sur des rapports de travail particulièrement stables, qu'elle met pleinement en valeur la capacité de travail résiduelle exigible et que le gain obtenu correspond au travail effectivement fourni et ne contient pas d'éléments de salaire social, c'est le revenu effectivement réalisé qui doit être pris en compte pour fixer le revenu d'invalide. En l'absence d'un revenu effectivement réalisé - soit lorsque la personne assurée, après la survenance de l'atteinte à la santé, n'a pas repris d'activité lucrative ou alors aucune activité normalement exigible -, le revenu d'invalide peut être évalué sur la base de salaires fondés sur les données statistiques résultant de l'Enquête suisse sur la structure des salaires (ESS; ATF 143 V 295 consid. 2.2; 139 V 592 consid. 2.3).
4.3. En l'occurrence, s'il est certes établi que le recourant ne peut plus exercer sa profession initiale de plâtrier-peintre, raison pour laquelle l'assurance-invalidité lui a reconnu le droit à des mesures professionnelles, on ne saurait pour autant considérer que le revenu d'invalide doit être calculé en fonction de cette activité ou du rendement accompli dans le cadre de celle-ci. Contrairement à l'argumentation du recourant, c'est à bon droit que les premiers juges ont pris en considération les données statistiques résultant de l'ESS pour évaluer le revenu d'invalide et non pas le revenu que le recourant percevait auprès de B._ Sàrl. En effet, dans la mesure où il n'exerçait plus cette activité et que celle-ci ne mettait pas pleinement en valeur sa capacité de travail résiduelle exigible (cf. consid. 3.2 supra), les conditions prévues par la jurisprudence pour tenir compte du revenu effectivement réalisé n'étaient à l'évidence pas remplies. Enfin, le grief tiré d'une prétendue violation du principe de la bonne foi (art. 9 Cst.), que le recourant ne développe nullement, ne satisfait pas à l'exigence de motivation posée à l'art. 42 al. 2 LTF, si bien qu'il est irrecevable (cf. consid. 1.2 supra).
5.
En conclusion de ce qui précède, il n'y a pas lieu de s'écarter des constatations de la juridiction cantonale sur la capacité résiduelle de travail de l'assuré et sur le taux d'invalidité qui en est résulté pour la période ici en cause (52 %). La perte de gain de 76 % dont se prévaut le recourant n'est pas fondée. Ses conclusions doivent être rejetées.
6.
Le recourant, qui succombe, supportera les frais de la procédure (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 13 octobre 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Elmiger-Necipoglu