Faits :
A.
A.a. A._, né en 1962, travaillait depuis le 8 août 1988 comme soudeur pour l'entreprise B._ SA et était à ce titre assuré de manière obligatoire contre le risque d'accident auprès de la Caisse nationale suisse d'assurance en cas d'accidents (ci-après: CNA). Le 18 février 2005, il est tombé d'un escabeau et s'est blessé à l'épaule et à la main droites. Lors de l'examen médical final du 21 mai 2007, le docteur C._, spécialiste FMH en chirurgie orthopédique et médecin d'arrondissement de la CNA, a retenu que l'assuré pouvait mettre en valeur une pleine capacité de travail dans une activité adaptée aux limitations de son membre supérieur droit. Par décision du 21 novembre 2007, la CNA a reconnu au prénommé dès le 1er décembre 2007 le droit à une rente d'invalidité fondée sur un taux d'invalidité de 22 % ainsi qu'une indemnité pour atteinte à l'intégrité (ci-après: IPAI) d'un taux de 7,5 %.
A.b. Le 16 août 2009, l'assuré a été percuté à son épaule gauche par un bateau pneumatique poussé par les vagues, provoquant une rupture du tendon du sous-scapulaire gauche traitée conservativement. Après avoir consulté le docteur D._, spécialiste FMH en chirurgie et médecin d'arrondissement, la CNA a rendu le 16 novembre 2012 une décision par laquelle elle a reconnu à l'assuré le droit à une IPAI de 5 % et, pour le surplus, a indiqué que sa rente d'invalidité fondée sur un taux de 25 % (recte: 22 %) n'était pas modifiée.
A.c. Le 14 avril 2015, l'assuré est tombé sur son épaule gauche, ce qui a entraîné une rupture partielle du biceps et une tendinopathie du supra-épineux, traitées par voie chirurgicale. La CNA a pris en charge le cas à titre de rechute de l'accident du 16 août 2009. Dans son rapport du 12 juin 2018, la doctoresse E._, médecin praticien et médecin d'arrondissement de la CNA, a retenu que la capacité de travail de l'assuré était entière dans une activité parfaitement adaptée aux limitations fonctionnelles des épaules; quant à l'IPAI, elle ne pouvait pas retenir d'aggravation manifeste et objective supplémentaire par rapport à l'appréciation médicale du docteur D._. Après avoir procédé aux mesures d'instructions sur le plan économique, la CNA a rendu le 12 décembre 2018 une décision par laquelle elle a nié une incapacité de gain et une IPAI supplémentaires dues à l'accident du 16 août 2009. Cette décision a été confirmée sur opposition le 18 juillet 2019.
B.
Par arrêt du 25 août 2020, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud a rejeté le recours interjeté par l'assuré contre la décision sur opposition du 18 juillet 2019.
C.
A._ forme un recours en matière de droit public contre cet arrêt, en concluant à sa réforme en ce sens qu'une rente d'invalidité fondée sur un taux de 100 %, subsidiairement sur un taux de 27 %, lui soit allouée. Plus subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite en outre d'être mis au bénéfice de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
Est litigieux le point de savoir si la cour cantonale a violé le droit fédéral en confirmant un taux d'invalidité de 22 %. En revanche, dès lors que le recours ne porte pas sur l'IPAI, ce point est entré en force avec l'arrêt cantonal (<ref-ruling> consid 4.3 et les références).
S'agissant d'une procédure concernant l'octroi de prestations en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par les faits établis par la juridiction précédente (<ref-law>).
3.
Le jugement entrepris expose correctement les dispositions légales et les principes jurisprudentiels applicables, de sorte qu'il suffit d'y renvoyer (<ref-law>).
4.
Examinant si un changement important des circonstances propres à influer sur le taux d'invalidité s'était produit depuis la décision du 21 novembre 2007, les premières juges ont constaté qu'à l'époque, selon l'appréciation du 21 mai 2007 du docteur C._, le recourant disposait d'une pleine capacité de travail dans une activité légère ne nécessitant pas de manutentions supérieures à 10 kg, ni de sollicitations du bras [droit] au-dessus de l'horizontale, et permettant d'alterner les positions. Sur la base du rapport de la doctoresse E._ du 12 juin 2018, auquel elles ont reconnu une pleine valeur probante, elles ont retenu que le recourant conservait une pleine capacité de travail entière dans une activité adaptée à ses limitations fonctionnelles liées aux épaules. Procédant ensuite à une évaluation du taux d'invalidité, la cour cantonale a confirmé le revenu d'invalide de 61'853 fr., qui avait été fixé par l'intimée sur la base de cinq descriptions du poste de travail (DPT), ainsi que le revenu de valide de 67'861 fr., qui n'était pas contesté en procédure cantonale. Elle a constaté que le taux d'invalidité de 8,85 % qui résultait de la comparaison de ces deux revenus était inférieur à celui de 22 %, de sorte que la décision sur opposition du 18 juillet 2019 n'était pas critiquable.
5.
5.1. Le recourant fait grief à la cour cantonale d'avoir violé son droit d'être entendu (art. 29 al. 2 Cst.) en refusant de donner suite à sa requête de mise en oeuvre d'une expertise. On rappellera que le grief de violation du droit d'être entendu en lien avec l'administration de preuves n'a pas de portée propre par rapport au grief tiré d'une mauvaise appréciation des preuves. En effet, l'assureur et le juge peuvent renoncer à effectuer des actes d'instruction sans que cela entraîne une quelconque violation du droit d'être entendu si, en se fondant sur une appréciation consciencieuse des preuves (cf. <ref-ruling> consid. 3a), ils sont convaincus que des faits présentent un degré de vraisemblance prépondérante et que des mesures probatoires supplémentaires ne pourraient pas modifier leur appréciation (cf. <ref-ruling> consid. 6.5). Dans son argumentation qui consiste en définitive à alléguer que la cour cantonale aurait ignoré les douleurs dont il souffre, le recourant semble perdre de vue que la question d'une atteinte psychique sous la forme d'un trouble somatoforme douloureux a été instruite en procédure administrative et a finalement été niée, notamment par les spécialistes de la Clinique romande de réadaptation (CRR). Ces derniers avaient en effet constaté l'existence de facteurs contextuels qui influençaient négativement les aptitudes fonctionnelles (notamment une catastrophisation et une kinésiophobie élevées). Une discrépance entre les constatations cliniques et les plaintes du recourant avait par ailleurs été constatée par le docteur D._ et la doctoresse E._. Dans ces circonstances, on ne voit pas, et le recourant ne motive pas, en quoi la juridiction cantonale aurait violé le droit fédéral en se fondant sur l'appréciation de la doctoresse E._ concluant à une pleine capacité de travail du recourant dans une activité adaptée à ses limitation fonctionnelles et en considérant, par appréciation anticipée des preuves, que l'intimée avait à juste titre refusé de mettre en oeuvre une expertise médicale.
5.2. Le recourant reproche ensuite à la cour cantonale de ne pas avoir motivé en quoi les DPT étaient plus indiquées pour déterminer le revenu d'invalide que les données salariales tirées de l'Enquête suisse sur la structure des salaires (ESS) publiée par l'Office fédéral de la statistique (OFS).
Le Tribunal fédéral a considéré que la CNA n'était pas libre de choisir les cas dans lesquels elle déterminait le revenu d'invalide sur la base des DPT et les cas dans lesquels elle se fondait sur l'ESS, mais devait appliquer la méthode des DPT pour autant que les exigences jurisprudentielles fussent respectées dans le cas d'espèce (arrêt 8C_443/2016 du 11 août 2016 consid. 5.3). En procédure cantonale, il appartenait à la juridiction cantonale d'examiner si l'évaluation de l'invalidité sur la base des DPT était conforme au droit et, si tel n'était pas le cas, de renvoyer la cause à la CNA ou de déterminer le revenu d'invalide sur la base de l'ESS (<ref-ruling> consid. 6.3; <ref-ruling> consid. 4.2.2). En l'espèce, les premières juges ont considéré que les données salariales résultant des cinq DPT étaient adaptées aux limitations du recourant décrites par la doctoresse E._ et ont approuvé la conformité des DPT avec le droit fédéral. C'est ainsi à bon droit qu'elles n'ont pas déterminé le revenu d'invalide en se référant aux salaires statistiques de l'ESS.
En tant que le recourant prétend de nouveau, comme devant la cour cantonale, ne pas avoir eu connaissance des DPT qui lui avaient été appliquées, ce qui constituerait une violation de son droit d'être entendu, la motivation de son recours ne satisfait pas aux exigences de l'<ref-law> (<ref-ruling> consid. 3.3; <ref-ruling> consid. 1.3). En effet, il fait totalement abstraction des considérants de la cour cantonale selon lesquels la CNA lui avait transmis ensuite de son opposition son dossier complet, comprenant notamment les cinq DPT sur lesquelles l'intimée s'était fondée, ainsi que les renseignements complémentaires exigés par la jurisprudence.
5.3. S'agissant du grief selon lequel différents médecins traitants auraient retenu une incapacité de travail totale, de sorte que le revenu d'invalide retenu serait erroné, le recourant ne parvient pas à démontrer que les premières juges auraient violé les règles d'appréciation des preuves en appliquant des exigences trop élevées à la possibilité pour l'assuré de soulever des doutes sur une appréciation médicale (cf. sur la valeur probante de rapports provenant de médecins internes à l'assurance: <ref-ruling> consid. 8.5). Les avis des médecins traitants n'apportent en effet aucun élément concret que la cour cantonale aurait ignoré, et celle-ci a exposé de manière convaincante les motifs pour lesquels lesdits avis n'étaient pas de nature à remettre en cause l'appréciation de la doctoresse E._. On relèvera enfin que, contrairement à ce que soutient le recourant au sujet du principe d'uniformité de la notion d'invalidité dans l'assurance sociale, l'évaluation de l'invalidité par les organes de l'assurance-invalidité n'a pas de force contraignante pour l'assureur-accidents (<ref-ruling> consid. 2.3). Par conséquent, la cour cantonale n'a pas violé le droit fédéral en confirmant l'évaluation du taux d'invalidité opérée par l'intimée sans tenir compte de celle effectuée par l'assurance-invalidité.
6.
En définitive, le recours, manifestement mal fondé, doit être rejeté selon la procédure simplifiée prévue à l'<ref-law>.
7.
Le recourant, qui succombe, a demandé à bénéficier de l'assistance judiciaire gratuite. Une partie ne remplit les conditions de l'assistance judiciaire que si elle ne dispose pas de ressources suffisantes et si ses conclusions ne paraissent pas vouées à l'échec (<ref-law>; <ref-ruling> consid. 9.1). Au regard des motifs avancés dans le mémoire de recours, celui-ci était dénué de chances de succès. Le recourant doit par conséquent payer les frais judiciaires (<ref-law>) et ne peut pas prétendre à la prise en charge des honoraires de son avocat.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 6 mai 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Elmiger-Necipoglu