Faits :
A.
A.a. A._ travaillait comme maçon pour B._, entreprise de bâtiments, et était assuré auprès de la Caisse nationale suisse d'assurance en cas d'accidents (ci-après: CNA) contre le risque d'accidents. Le 31 octobre 2013, il a glissé et est tombé sur un talus d'une hauteur d'environ un mètre avec réception sur son épaule gauche. Le docteur C._, spécialiste en chirurgie orthopédique, a retenu dans son rapport médical du 28 novembre 2013 une rupture transfixiante du tendon du sous-scapulaire, une lésion partielle intra-articulaire du tendon du sus-épineux ainsi qu'une luxation antérieure du long chef du biceps (ci-après: LCB) de l'épaule gauche. La CNA a pris en charge le cas. Le 20 janvier 2014, A._ a subi une intervention chirurgicale à l'épaule gauche, consistant en une arthroscopie, une suture du tendon du sous-scapulaire, une ténodèse du LCB ainsi qu'une mobilisation sous anesthésie. Le 2 juin 2014, il a repris son activité de maçon à 100 % avec un rendement limité à 50 %. En raison de la persistance des douleurs, l'assuré a séjourné à la Clinique romande de réadaptation (ci-après: CRR) du 31 mars au 5 mai 2015. A la suite de ce séjour, la situation médicale a été considérée comme stabilisée et les limitations fonctionnelles ont été fixées comme suit: pas d'activités nécessitant le maintien des membres supérieurs au-delà du plan des épaules et pas de port de charges supérieures à 10-15 kg.
Ensuite d'un examen médical du 18 août 2016, le docteur D._, spécialiste en chirurgie orthopédique et médecin d'arrondissement de la CNA, a retenu que, sur le plan médical, la situation pouvait être considérée comme stabilisée. Sur le plan professionnel, la mise en valeur d'une capacité de travail dans l'activité de maçon n'était plus exigible. En revanche, l'assuré avait une pleine capacité de travail dans une activité adaptée n'exigeant pas de sollicitation du membre supérieur gauche (côté non dominant) au-dessus de l'horizontale ni le port répété de charges de plus de 15 kg.
A.b. L'office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI), auquel A._ s'était annoncé le 11 février 2015, lui a octroyé un reclassement professionnel. Entre le 1er août et le 31 octobre 2016, l'assuré a effectué un stage en tant que chauffeur-livreur auprès de l'entreprise E._ Sàrl. Ce stage a abouti à un contrat de travail de durée indéterminée pour un taux de 50 % dès le 1er novembre 2016. L'assuré a été licencié de cet emploi au 31 mai 2018.
A.c. Une imagerie par résonance magnétique (IRM) du 20 mars 2018 a mis en évidence une tendinopathie de la coiffe des rotateurs. La doctoresse F._, médecin praticien et médecin d'arrondissement de la CNA, a nié toute aggravation objective de l'état de santé de l'assuré depuis l'examen médical final du 18 août 2016 et a confirmé que la capacité de travail restait entière dans une activité adaptée aux limitations fonctionnelles décrites lors de cet examen.
A.d. Par décision du 27 décembre 2018, confirmée sur opposition le 13 juin 2019, la CNA a accordé à l'assuré une rente d'invalidité de 15 % à partir du 1er mai 2017 et une indemnité pour atteinte à l'intégrité sur la base d'un taux de 10 %.
A.e. Par décision du 18 avril 2019, l'office AI a nié le droit à une rente d'invalidité de l'assuré en retenant un degré d'invalidité de 20 %.
B.
B.a. A._ a déféré la décision du 18 avril 2019 de l'office AI (cf. let. A.e supra) à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud. Celle-ci a rejeté le recours par arrêt du 20 août 2020.
B.b. Par arrêt du même jour, cette même juridiction a également rejeté le recours formé par l'assuré contre la décision sur opposition du 13 juin 2019 de la CNA (cf. let. A.d supra).
C.
A._ interjette un recours en matière de droit public contre l'arrêt rendu en matière d'assurance-invalidité. Il conclut à sa réforme en ce sens qu'une expertise orthopédique permettant de déterminer sa capacité de travail résiduelle soit mise en oeuvre; subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision.
L'office AI conclut au rejet du recours. Le Tribunal cantonal et l'Office fédéral des assurances sociales ont renoncé à se déterminer.
D.
Par arrêt de ce jour, le Tribunal fédéral a rejeté le recours dirigé contre l'arrêt rendu le 20 août 2020 en matière d'assurance-accidents (affaire 8C_615/2020; cf. let. B.b supra).

Considérant en droit :
1.
Le recours est dirigé contre une décision finale (<ref-law>) rendue en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il statue sur la base des faits retenus par la juridiction précédente (<ref-law>), qu'il peut rectifier ou compléter d'office si des lacunes et erreurs manifestes apparaissent aussitôt (<ref-law>). Le recourant n'est habilité à critiquer les constatations de fait que si les faits ont été établis de manière manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 4.3 p. 62 et les références).
3.
Le litige porte sur le point de savoir si le Tribunal cantonal a violé le droit fédéral en confirmant la décision de l'intimé du 18 avril 2019 qui niait le droit du recourant à une rente de l'assurance-invalidité en raison d'un taux d'invalidité de 20 %. Est litigieuse en particulier la question de savoir si la cour cantonale aurait dû procéder à des investigations supplémentaires concernant l'état de santé du recourant, voire sa capacité résiduelle de travail.
4.
4.1. L'arrêt attaqué expose correctement les dispositions légales régissant le droit à une rente d'invalidité (art. 6, 7 et 8 al. 1 LPGA; art. 4 al. 1, art. 28 al. 1 et 2 LPGA) ainsi que la jurisprudence en matière d'appréciation de rapports médicaux (<ref-ruling> consid. 5.1; <ref-ruling> consid. 3a). Il suffit d'y renvoyer.
4.2. On rappellera cependant que le juge ne peut pas écarter un rapport médical au seul motif qu'il est établi par le médecin interne d'un assureur social, respectivement par le médecin traitant (ou l'expert privé) de la personne assurée, sans examiner autrement sa valeur probante. Lorsqu'une décision administrative s'appuie exclusivement sur l'appréciation d'un médecin interne à l'assureur social et que l'avis d'un médecin traitant ou d'un expert privé auquel on peut également attribuer un caractère probant laisse subsister des doutes même minimes quant à la fiabilité et la pertinence de cette appréciation, la cause ne saurait être tranchée en se fondant sur l'un ou sur l'autre de ces avis et il y a lieu de mettre en oeuvre une expertise par un médecin indépendant selon la procédure de l'<ref-law> ou une expertise judiciaire (<ref-ruling> consid. 5.2; <ref-ruling> consid. 4.7).
5.
5.1. Les juges cantonaux ont exposé qu'une pleine capacité de travail dans une activité adaptée avait été retenue une première fois après un séjour à la CRR par les docteurs G._, spécialiste en médecine physique et réadaptation FMH, et H._, médecin-assistant. Dans leur rapport du 20 mai 2015, ces médecins avaient notamment retenu que les limitations fonctionnelles du recourant consistaient en l'impossibilité d'exercer des activités nécessitant le maintien des membres supérieurs au-delà du plan des épaules ainsi que le port répété de charges supérieures à 10-15 kilos. Cette position avait été confirmée respectivement par le docteur D._ à l'occasion de l'examen médical final réalisé le 18 août 2016, par la doctoresse F._ le 5 juillet 2018 et par le Service médical régional de l'assurance-invalidité (SMR) en date du 15 avril 2019.
La cour cantonale a considéré que les conclusions de ce rapport d'évaluation réalisé par les médecins de la CRR pouvaient être suivies. Il abordait de manière circonstanciée les différents points litigieux du cas d'espèce et se fondait sur un examen complet de la situation médicale du recourant, prenant notamment en compte les plaintes de l'intéressé concernant les douleurs ressenties au niveau du membre supérieur gauche. Le recourant s'était soumis à une évaluation de ses capacités fonctionnelles. Le score réalisé de 100 points traduisait l'appréciation de l'intéressé de pouvoir réaliser des activités à un niveau d'effort sédentaire ou essentiellement assis. Des tests de charges avaient également été effectués afin de déterminer avec précision l'étendue des limitations fonctionnelles du recourant. Les conclusions qui en résultaient étaient claires, détaillées et emportaient la conviction. Ainsi, et dans la mesure où l'épaule gauche n'était pas l'épaule dominante, une capacité de travail entière dans une activité adaptée apparaissait pleinement envisageable.
Les juges cantonaux ont estimé que même si le rapport de la CRR datait de 2015, aucun élément au dossier, y compris dans les avis médicaux présentés par le recourant (des docteurs I._ du 3 juillet 2018, J._ et K._ du 4 février 2019 et L._ du 4 septembre 2019), ne laissait entrevoir une évolution significative de l'état de santé du recourant. Au surplus, les premiers juges ont observé que les conclusions des médecins de la CRR s'inscrivaient dans la continuité des constatations du docteur C._. Par conséquent, la situation médicale apparaissait claire dès le début de l'instruction, aucun élément ne laissant présumer une péjoration significative de l'état de santé du recourant. Les conclusions des médecins de la CRR conservaient ainsi toute leur pertinence.
En outre, l'avis du SMR du 15 avril 2019, établi par la doctoresse M._, permettait d'apprécier de manière appropriée la situation médicale du recourant, en particulier sur le point de savoir si une modification sensible des circonstances était intervenue. Cet avis pouvait ainsi être suivi.
5.2. Les juges cantonaux ont également écarté les arguments du recourant relatifs à son licenciement respectivement à son engagement comme chauffeur-livreur à 50 %. Ils ont constaté que la résiliation du contrat de travail n'avait pas été motivée par les limitations fonctionnelles du recourant, mais que l'employeur avait indiqué le motif de la résiliation, soit des raisons économiques liées à la perte d'une tournée journalière, et qu'il n'y avait aucune raison d'en douter. De plus, le recourant avait été engagé à 50 % non pas en raison d'une capacité de travail limitée, mais parce que ce poste avait été proposé à taux partiel. Ayant été dûment informé des conséquences d'un engagement à temps partiel, le recourant s'était annoncé aux organes de l'assurance-chômage dans l'optique d'obtenir un second emploi à 50 % afin de mettre pleinement à profit sa capacité de travail dans une activité adaptée. Par ailleurs, une fois son licenciement intervenu et étant parvenu au terme de son premier délai-cadre d'indemnisation, il s'était annoncé en tant que demandeur d'emploi à 100 %.
5.3. Les premiers juges ont ainsi conclu par une appréciation anticipée de preuves (<ref-ruling> consid. 3.1.3; <ref-ruling> consid. 2.1 et les références) que les circonstances de la cause ne justifiaient pas la mise en oeuvre d'une nouvelle expertise, la cour étant en mesure de statuer.
6.
6.1. Le recourant soutient que la situation aurait évolué depuis 2015 et que plusieurs éléments figurant au dossier démontreraient qu'il ne serait plus en mesure de travailler à 100 %. La cour cantonale aurait constaté les faits d'une manière arbitraire, en écartant sans justification des éléments médicaux déterminants et en tirant des conclusions insoutenables des éléments recueillis. Elle aurait en outre ignoré la jurisprudence relative à la valeur probante d'une appréciation d'un médecin interne d'un assureur social (cf. ATF 134 V 465 consid. 4.7 et supra, consid. 3.2) en refusant de mettre en oeuvre une expertise judiciaire.
6.2. Pour autant que sa critique ne soit pas appellatoire et donc irrecevable (cf. <ref-ruling> consid. 2.3 et les références), les arguments avancés par le recourant ne sont pas pertinents, pour les motifs exposés ci-après.
6.2.1. Le docteur I._ atteste dans son rapport du 3 juillet 2018 un arrêt de travail de 50 % sur 100 % sur la seule base des plaintes du recourant. Or les juges cantonaux ont relevé à juste titre que ce praticien ne distinguait pas les implications concrètes de la symptomatologie douloureuse sur la capacité de travail et n'indiquait pas de nouvelles limitations fonctionnelles. Au surplus, le raisonnement de ce médecin apparaissait centré sur l'activité de chauffeur-livreur et n'indiquait pas une éventuelle diminution de la capacité de travail dans une autre activité, mieux adaptée à la symptomatologie de l'intéressé. Le recourant ne démontre pas en quoi cette motivation serait critiquable. Contrairement à ce qu'il prétend, elle n'apparaît pas non plus arbitraire du seul fait qu'elle diffère de celle adoptée par le tribunal cantonal dans l'arrêt concernant l'assurance-accidents. Dans cet arrêt, les juges cantonaux ont certes écarté le rapport du docteur I._ pour des motifs différents, mais qui n'entrent pas en contradiction avec ceux exposés dans l'arrêt présentement attaqué.
6.2.2. La cour cantonale a ensuite retenu que le rapport du 4 février 2019 établi par les docteurs J._ et K._ ne laissait pas entrevoir de changement substantiel de la situation du recourant. Ces médecins se contentaient de relater la persistance de la symptomatologie douloureuse à l'épaule gauche et s'abstenaient de se prononcer sur la capacité de travail du recourant, en confirmant au surplus les limitations fonctionnelles à l'épaule gauche. En effet, ces deux praticiens admettent une capacité de travail résiduelle si aucune force n'est utilisée au niveau du bras gauche, mais ils déclarent ne pas pouvoir se prononcer sur le taux de cette capacité et proposent d'adresser la question au médecin-conseil de la CRR si besoin est. Le recourant ne peut donc pas être suivi quand il prétend qu'ils partageraient l'avis du docteur I._ par rapport à la capacité de travail réduite à 50 %.
6.2.3. Concernant le rapport du docteur L._ du 4 septembre 2019, le recourant fait référence aux critères de l'ATF <ref-ruling> relatifs à la valeur probante des rapports médicaux. Il soutient qu'en l'espèce, ce rapport comporte une brève anamnèse indiquant le nombre de fois où ce praticien avait vu le recourant, explique également les plaintes de ce dernier, pose plusieurs diagnostics reconnus (amyotrophie importante du muscle sous-scapulaire avec une infiltration graisseuse avancée grade II à III avec ancres métalliques, déchirure intra-substance du tendon du muscle supra-épineux, bursite sous-acromio-deltoïdienne) et discute du contexte médical. Ce serait donc arbitrairement que le tribunal cantonal a écarté ce rapport, d'autant plus qu'il s'agissait à nouveau de se déterminer sur la mise en oeuvre d'une nouvelle expertise. Ce rapport ne précise cependant pas quelles seraient les limitations empêchant le recourant de travailler à plus de 50 % dans une activité adaptée, comme la Cour cantonale l'a relevé à juste titre. Il ne contient donc pas d'éléments propres à mettre en doute les conclusions des médecins de la CRR, de l'assurance-accidents et de l'assurance-invalidité.
6.2.4. Le recourant ne peut non plus être suivi lorsqu'il prétend que la Cour cantonale aurait reconnu pleine valeur probante à l'avis du SMR du 15 avril 2019, malgré ses défauts formels évidents. Les juges cantonaux ont exposé correctement que cet avis constituait un rapport au sens de l'<ref-law> en corrélation avec l'<ref-law> (cf. arrêt 9C_858/2014 du 3 septembre 2015 consid. 3.3.2). De tels rapports ont pour fonction d'opérer la synthèse des renseignements médicaux versés au dossier et de prodiguer des recommandations quant à la suite à donner au dossier sur le plan médical (cf. arrêt 8C_756/2008 du 4 juin 2009 consid. 4.4, in SVR 2009 IV n° 50 p. 153). En tant qu'ils ne contiennent aucune observation clinique, ils se distinguent des expertises médicales ou des examens médicaux auxquels il arrive au SMR de procéder (<ref-law>); en raison de leurs fonctionnalités différentes, ces différents documents ne sont d'ailleurs pas soumis aux mêmes exigences formelles (cf. arrêts 9C_105/2009 du 19 août 2009 consid. 4.2; 9C_581/2007 du 14 juillet 2008 consid. 3.2; I 143/07 du 14 septembre 2007 consid. 3.3). Selon le principe de la libre appréciation des preuves, les autorités appelées à statuer ont en effet le devoir d'examiner objectivement tous les documents à disposition, quelle que soit leur provenance, puis de décider s'ils permettent de porter un jugement valable sur le droit litigieux (ATF <ref-ruling> consid. 3a). Dans le cas particulier, force est de constater que la juridiction cantonale n'a rien fait d'autre que d'apprécier librement et de manière circonstanciée l'ensemble des preuves médicales à sa disposition.
6.2.5. La critique du recourant envers les constatations de la cour cantonale concernant son engagement comme chauffeur-livreur et la résiliation subséquente de ce contrat de travail se révèle purement appellatoire, de sorte qu'il suffit de renvoyer aux considérations pertinentes de l'arrêt attaqué (cf. supra consid. 5.2).
6.2.6. Il s'ensuit que les premiers juges pouvaient retenir sans arbitraire qu'ils étaient suffisamment renseignés sur la base des pièces figurant au dossier et renoncer à mettre en oeuvre des mesures complémentaires d'instruction.
7.
Vu ce qui précède, le recours doit être rejeté. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 15 juin 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Betschart