Faits :
A.
A.a. A._, né en 1970, travaillait comme ouvrier de la construction auprès de l'entreprise B._ Sàrl et était à ce titre assuré de manière obligatoire contre le risque d'accident auprès de la Caisse nationale suisse en cas d'accidents (ci-après: CNA). Le 20 mars 2014, lors de la démolition de murs extérieurs à l'aide d'un marteau piqueur, une partie du mur s'est décrochée et est tombée sur les jambes et les pieds de l'assuré. L'accident s'est soldé par une fracture ouverte comminutive de la jambe gauche et par une fracture-luxation de la sous-talienne droite. Les fractures ont été réduites et ostéosynthésées en urgence.
A.b. Après avoir subi le 7 mai 2014 une ablation des broches sous-taliennes, l'assuré a séjourné jusqu'au 30 juillet 2014 à la Clinique C._. Des suites d'une arthroscopie du genou gauche, l'assuré a développé une dermo-hypodermite du membre inférieur droit qui a nécessité une hospitalisation du 1er au 26 mars 2015. Une ablation de matériel d'osthéosynthèse a eu lieu le 10 juillet 2015. Un bilan angiologique a montré une insuffisance veineuse des membres inférieurs. Toutefois, le patient n'a pas souhaité se soumettre à une cure de varice.
A.c. Le 30 août 2016, l'assuré s'est fait examiner par le docteur D._, médecin d'arrondissement et spécialiste en chirurgie, qui a indiqué dans son rapport qu'il n'y avait pas de raison pour que le patient ne puisse pas travailler à plein temps. Se référant à la table 2 du barème d'indemnisation des atteintes à l'intégrité, ce praticien a fixé le taux de l'atteinte à l'intégrité à 25 %. Le 4 janvier 2017, la CNA a informé l'assuré qu'elle mettait fin au paiement des soins médicaux et de l'indemnité journalière avec effet au 28 février 2017. Après avoir procédé à une instruction sur le plan économique, elle a rendu le 13 février 2017 une décision par laquelle elle a reconnu le droit de l'assuré à une indemnité pour atteinte à l'intégrité (IPAI) de 31'500 fr. correspondant à un taux de 25 %. Elle a en revanche nié son droit à une rente d'invalidité, au motif que la comparaison des revenus avec et sans invalidité montrait une perte de 8,82 %. Cette décision a été confirmée le 13 mars 2017 sur opposition de l'assuré.
B.
Contre la décision sur opposition du 13 mars 2017, l'assuré a interjeté recours auprès de la Cour des assurances sociales du tribunal cantonal du Canton de Vaud. Celle-ci a confié le 16 novembre 2017 la mise en oeuvre d'une expertise médicale judiciaire (avec les volets médecine interne, orthopédie, angiologie et dermatologie) à l'Unité E._ de l'Hôpital F._, qui a rendu son rapport le 26 juin 2018. Par arrêt du 3 septembre 2020, la juridiction cantonale a rejeté le recours.
C.
A._ forme un recours en matière de droit public contre cet arrêt, en concluant à son annulation suivi du renvoi de la cause à l'instance cantonale afin qu'elle mette en oeuvre une nouvelle expertise médicale judiciaire comportant un volet neurologique et qu'elle rende une nouvelle décision. Il sollicite en outre l'octroi de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (art. 90 LTF) rendu en matière de droit public (art. 82 ss LTF) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (art. 100 LTF) et la forme (art. 42 LTF) prévus par la loi. Il est donc recevable.
2.
Est litigieux le point de savoir si la cour cantonale a violé le droit fédéral en se fondant sur l'expertise judiciaire pour confirmer la décision sur opposition du 13 mars 2017, par laquelle la CNA a nié le droit du recourant à une rente d'invalidité.
S'agissant d'une procédure concernant l'octroi de prestations en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par les faits établis par la juridiction précédente (art. 105 al. 3 LTF).
3.
3.1. Le jugement entrepris expose correctement les dispositions légales et les principes jurisprudentiels applicables, de sorte qu'il suffit d'y renvoyer (art. 109 al. 3 LTF).
3.2. On rappellera qu'en principe, le juge ne s'écarte pas sans motifs impérieux des conclusions d'une expertise médicale judiciaire, la tâche de l'expert étant précisément de mettre ses connaissances spéciales à la disposition de la justice afin de l'éclairer sur les aspects médicaux d'un état de fait donné. Selon la jurisprudence, peut notamment constituer une raison de s'écarter d'une expertise judiciaire le fait que celle-ci contient des contradictions, ou qu'une surexpertise ordonnée par le tribunal en infirme les conclusions de manière convaincante. En outre, lorsque d'autres spécialistes émettent des opinions contraires aptes à mettre sérieusement en doute la pertinence des déductions de l'expert, on ne peut pas exclure, selon les cas, une interprétation divergente des conclusions de ce dernier par le juge ou, au besoin, une instruction complémentaire sous la forme d'une nouvelle expertise médicale (<ref-ruling> consid. 6.2.3.2 p. 282; <ref-ruling> consid. 4.4 p. 469 s.; arrêt 8C_87/2020 du 4 décembre 2020 consid. 3.2).
4.
4.1. Se fondant sur le rapport d'expertise judiciaire de l'Unité E._, auquel ils ont reconnu une pleine valeur probante, les juges cantonaux ont retenu que, compte tenu des diagnostics posés (douleur de la cheville droite [M 25.5]; instabilité du genou gauche [M 23.5]; obésité morbide [E 66.0] et insuffisance veineuse chronique [I 87.2]), dans une activité adaptée, la capacité de travail du recourant était entière depuis la date de stabilisation de l'état de santé en août 2016. L'activité adaptée devait se comprendre comme exercée en position assise ou semi-assise, avec des déplacements occasionnels, et sans port de charges excédant cinq à dix kilos. Même si cela n'était plus disputé, les premiers juges ont relevé que l'avis du docteur G._, spécialiste FMH en chirurgie orthopédique et traumatologie de l'appareil locomoteur et médecin traitant du recourant, qui retenait une baisse de rendement de l'ordre de 50 %, ne saurait être suivi, dès lors que ce praticien avait procédé à une appréciation globale de la situation, détachée des seules atteintes objectives de nature somatique.
4.2. Sous l'angle formel, on relèvera que c'est en procédure fédérale que le recourant sollicite pour la première fois la mise en oeuvre d'une expertise judiciaire comportant un volet neurologique. En effet, en procédure cantonale, il s'était limité à requérir la mise en oeuvre d'une expertise médicale, sans autre précision quant à une spécialisation. En outre, lorsque la juridiction cantonale a donné suite à sa requête, en avisant les parties qu'elle entendait confier une expertise judiciaire à l'Unité E._ de l'Hôpital F._ et en les invitant à se déterminer sur le choix du centre de l'expertise et à produire un questionnaire (orthopédie et médecine interne), le recourant n'a ni proposé d'ajouter un volet neurologique, ni posé une question qui concerne ce domaine de compétence. Enfin, il n'a pas non plus critiqué cet aspect dans ses déterminations du 21 août 2018 une fois que le rapport d'expertise avait été rendu. Au regard de l'art. 99 al. 2 LTF, il paraît dès lors douteux que ses conclusions tendant à la mise en oeuvre d'une expertise judiciaire comportant un volet neurologique soient recevables (cf. arrêt 8C_186/2009 du 6 août 2009 consid. 3.1).
4.3. Même si l'on devait admettre la recevabilité de ses conclusions, on ne voit pas dans les critiques soulevées par le recourant de motifs impérieux de s'écarter des conclusions de l'expertise judiciaire. En effet, le recourant se borne principalement à faire valoir qu'un examen neurologique serait nécessaire, sans toutefois étayer ses allégations par des éléments concrets. Or à la lecture du dossier, on constate qu'aucun spécialiste ou expert n'a proposé ni même évoqué qu'un examen neurologique serait en l'occurrence indiqué. Bien au contraire, dans le protocole opératoire du 20 mars 2014, il est relevé dans le bilan des lésions que le recourant présente une fracture ouverte de la jambe gauche, sans trouble neurologique. Le recourant n'indique d'ailleurs pas sur quel rapport médical il se fonde lorsqu'il soutient qu'il serait hautement vraisemblable que ses douleurs soient de nature neuropathique. Les autres griefs tendant à remettre en cause la valeur probante du rapport d'expertise sont également infondés. S'agissant des rapport médicaux qui ont été remis par le recourant à l'instance cantonale le 26 mars 2020 soit plusieurs mois après que le dossier de la cause avait été transmis à l'Unité E._ pour la réalisation de l'expertise, on ne saurait reprocher aux experts de ne pas s'être déterminés sur ceux-ci. Les premiers juges ont néanmoins procédé à l'appréciation de l'ensemble des preuves et ont exposé pour quels motifs les rapports médicaux en question n'étaient pas de nature à remettre en question les conclusions du rapport d'expertise. Dès lors que le recourant ne discute pas ces motifs, il n'y a pas lieu de revenir sur ceux-ci (art. 42 al. 2 LTF).
5.
En définitive, le recours, manifestement mal fondé, dans la mesure où il est recevable (cf. consid. 4.2 supra), doit être rejeté selon la procédure simplifiée prévue à l'art. 109 al. 2 LTF.
6.
Le recourant, qui succombe, a demandé à bénéficier de l'assistance judiciaire gratuite. Une partie ne remplit les conditions de l'assistance judiciaire que si elle ne dispose pas de ressources suffisantes et si ses conclusions ne paraissent pas vouées à l'échec (art. 64 al. 1 LTF; <ref-ruling> consid. 9.1 p. 537). Au regard des motifs avancés dans le mémoire de recours, celui-ci était dénué de chances de succès. Le recourant doit par conséquent payer les frais judiciaires et ne peut pas prétendre à la prise en charge des honoraires de son avocat.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral de la santé publique (OFSP), Berne.
Lucerne, le 12 mars 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Elmiger-Necipoglu