Faits :
A.
Par jugement rendu le 18 février 2020, rectifié par prononcé du 20 février 2020, le Tribunal criminel de l'arrondissement de La Broye et du Nord vaudois a condamné A._ pour entrée illégale, séjour illégal et crime contre la loi fédérale sur les stupéfiants, à une peine privative de liberté de 66 mois, sous déduction de 345 jours de détention provisoire. Il a constaté que A._ avait été détenu dans des conditions illicites durant 15 jours en zone carcérale du Centre de gendarmerie à Bursins et 328 jours à la Prison du Bois-Mermet et ordonné que 8 et 82 jours soient déduits de la peine à titre de réparation morale. Il a également prononcé son expulsion pour une durée de 15 ans, maintenu sa détention pour des motifs de sûreté, ainsi que mis les frais de la cause, par 23'903 fr. 15, y compris l'indemnité allouée au défenseur d'office, à sa charge. Dans le même jugement B._ a été condamné pour entrée illégale, séjour illégal et crime contre la loi fédérale sur les stupéfiants, à une peine privative de liberté de 48 mois, sous déduction de 345 jours de détention provisoire. Ce jugement se prononce, par ailleurs, sur la confiscation et la destruction des objets séquestrés et le maintien au dossier de certains objets à titre de pièces à conviction.
B.
Par jugement du 9 juillet 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par A._, ainsi que celui formé par B._.
En bref, il en ressort les éléments suivants.
Entre la mi-novembre 2018 et le 10 mars 2019, A._ est entré illégalement à six reprises en Suisse et y a séjourné de façon très temporaire. Durant cette période, il a importé à six reprises de la cocaïne en Suisse, se livrant ainsi à un important trafic de cocaïne entre la France et la Suisse impliquant plusieurs personnes. B._ s'est également livré à ce même trafic entre le milieu du mois de décembre 2018 et le 10 mars 2019. Celui-ci est entré illégalement et a importé de la cocaïne en Suisse à cinq reprises. Les quantités de cocaïne importées par les deux prénommés lors de leurs différentes venues en Suisse restent indéterminées, à l'exception de celle du 10 mars 2019.
Dimanche 10 mars 2019 à 11h10, à hauteur de T._, A._ et B._ ont été interpellés par le corps des gardes-frontières. Les deux prénommés étaient passagers du TGV xxx reliant Paris à Lausanne. Sur les étagères à bagages du wagon dans lequel A._ et B._ avaient voyagé se trouvait un sac à dos qui contenait 2'592,3 g nets de cocaïne, équivalent à 1'615,8 g purs de cocaïne. Le profil ADN de B._ a été relevé sur l'anse du sac et celui-ci apparaissait portant un tel sac sur les images de vidéosurveillance de la gare de Lyon. Sur ces images, A._ cheminait tantôt à côté de B._ tantôt devant, en lui indiquant une direction.
Ressortissant U._, A._, également connus sous différentes autres identités, est né en 1994 à V._ au U._et a grandi au W._ avec sa mère. Il est parti en Europe en 2011 où il aurait vécu en X._ puis en Y._ et en Z._ avant de se rendre, en 2012, en Suisse où il a déposé une demande d'asile, qui a été refusée. Il y serait resté quelque temps, avant de vivre à nouveau en Y._. Il serait père de trois enfants âgés de 3, 5 et 7 ans. En Y._, il aurait été employé comme coiffeur et aurait exploité, en parallèle à titre indépendant, une boutique vendant des articles africains à son domicile.
Le casier judiciaire suisse de A._ fait état de quatre condamnations, la première, le 10 janvier 2013, pour délit à la LStup et séjour illégal, les trois suivantes, en 2013, 2014 et 2015, pour des infractions au droit des étrangers.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 9 juillet 2020. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il est condamné à une peine privative de liberté de 48 mois, sous déduction de la détention d'ores et déjà subie à ce jour. Il requiert la désignation de Me Michaël Aymon en qualité d'avocat d'office, respectivement le bénéfice de l'assistance judiciaire avec effet au 7 octobre 2020. Il requiert par ailleurs le versement d'une indemnité de 3'500 fr. à Me Michaël Aymond, par la caisse du Tribunal fédéral, pour son intervention dans la présente procédure.

Considérant en droit :
1.
Le recourant conteste la quotité de la peine dans la mesure où elle diffère de celle infligée à B._. A cet égard, il remet en cause l'établissement des faits et l'appréciation des preuves.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de faits de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 1.1 p. 503; sur la notion d'arbitraire v. <ref-ruling> consid. 2.3.1 p. 244). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; ATF <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.1 p. 156).
1.2. Les règles générales relatives à la fixation de la peine (<ref-law>) ont été rappelées aux <ref-ruling> consid. 1.2 p. 319, 142 IV 137 consid. 9.1 p. 147, 141 IV 61 consid. 6.1.1 p. 66 s., 136 IV 55 et 134 IV 17, auxquels on peut renvoyer.
En bref, le juge dispose d'un large pouvoir d'appréciation dans la fixation de la peine. Le Tribunal fédéral n'intervient que lorsque l'autorité cantonale a fixé une peine en dehors du cadre légal, si elle s'est fondée sur des critères étrangers à l'<ref-law>, si des éléments d'appréciation importants n'ont pas été pris en compte ou, enfin, si la peine prononcée est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 1.2 p. 319).
Dans l'exercice de son pouvoir d'appréciation, le juge doit respecter, en particulier, le principe d'égalité de traitement (art. 8 al. 1 Cst.; ATF IV 191 consid. 3.2 p. 193 s.). S'il est appelé à juger les coauteurs d'une même infraction ou deux coprévenus ayant participé ensemble au même complexe de faits délictueux, il est tenu de veiller à ce que la différence des peines infligées aux deux intéressés soit justifiée par une différence dans les circonstances personnelles en fonction desquelles, conformément à l'<ref-law>, la peine doit être individualisée (<ref-ruling> consid. 3.2 p. 193 s.; <ref-ruling> consid. 2d p. 204 ss). Les différences de traitement entre plusieurs accusés comparaissant devant le même tribunal à raison des mêmes faits doivent être fondées sur des motifs pertinents. Il ne faut pas créer un écart trop important entre deux coaccusés qui ont participé ensemble au même complexe de faits délictueux (<ref-ruling> consid. 2b p. 153 s.; arrêt 6B_458/2019 du 23 mai 2019 consid. 4.2.3). Pour les coauteurs en particulier, il faut tout d'abord déterminer leurs contributions respectives. Si l'équivalence de celles-ci doit conduire à une appréciation correspondante de la faute objective, seuls des aspects subjectifs de surcroît identiques et des composantes individuelles comparables peuvent imposer le prononcé de la même peine (<ref-ruling> consid. 3.2 p. 193 s.). En outre, il n'y a pas de droit à l'égalité dans l'illégalité, de sorte qu'il n'est pas admissible de réduire une peine considérée comme juste ou équitable au seul motif qu'elle apparaîtrait disproportionnée par rapport à celle infligée à un coaccusé (<ref-ruling> consid. 3.4 p. 195).
1.3. La cour cantonale, après avoir repris la motivation détaillée des premiers juges, a estimé, en résumé, que le flagrant délit du 10 mars 2019 justifiait de prononcer à l'encontre du recourant une peine privative de liberté, de base de l'ordre de 3,5 ans vu sa précédente condamnation pour infraction à l'<ref-law> et le rôle dirigeant qu'il avait tenu envers son comparse qui lui servait uniquement de protection contre le risque d'arrestation. Les cinq importations transfrontalières antérieures imposaient une augmentation minimale d'une année à chaque fois, soit du minimum légal prévu par l'<ref-law>, dès lors que, si la quantité exacte n'était pas connue, la limite du cas grave, constituée par la mise en danger de nombreuses personnes, soit 18 g de cocaïne pure, était assurément franchie. Les infractions à la LEI devaient aussi être sanctionnées, à des fins de prévention spéciale, d'une peine privative de liberté comme genre de peine dès lors qu'elles avaient été commises pour exécuter des crimes à la législation protégeant la santé publique. Les séjours illicites n'ayant pas dépassé quelques heures et les entrées étant étroitement couplées à de brefs séjours illicites, une peine privative de liberté de 30 jours pour le premier des six épisodes d'entrée et de séjour illicites était suffisante, sanction augmentée de 20 jours pour chacun des cinq épisodes suivants. En définitive, selon la cour cantonale, c'était une peine de 8,5 ans et 130 jours qui aurait dû être infligée au recourant. L'interdiction de la reformatio in pejus imposait toutefois de confirmer la peine privative de liberté de 5 ans et demi prononcée par les premiers juges. La cour cantonale a, en outre, estimé que l'écart entre la peine infligée au recourant et celle infligée à B._ était justifié sur la base de quatre motifs. Elle a retenu, premièrement que contrairement à son coauteur le recourant avait des antécédents. Sa récidive était spéciale dès lors qu'il avait déjà été condamné en matière d'infraction à la LStup et d'infraction à la législation sur les étrangers (LEI). Deuxièmement, les faits punissables dont répondait le recourant étaient plus étendus. Il avait importé de la drogue en Suisse et transgressé la LEI à six reprises et non à cinq comme B._. Troisièmement, son rôle dans le trafic était hiérarchiquement plus élevé. En tant que " conducteur de mule ", il avait dirigé les déplacements de B._ qui transportait le sac contenant la drogue. Le recourant donnait des instructions à celui-ci dont la seule fonction était d'endosser le risque en cas d'arrestation. Le recourant avait également contrôlé par téléphone l'évolution de la mule et avait eu des contacts avec une autre mule. Finalement, la cour cantonale a retenu que les regrets exprimés par le recourant étaient dépourvus de tout véritable investissement, contrairement à ceux du coauteur qui étaient synonymes d'une amorce de prise de conscience.
1.4. Le recourant reproche à la cour cantonale d'avoir arbitrairement retenu que son rôle dans le trafic était hiérarchiquement plus élevé que celui de B._. En tant que l'argumentation du recourant consiste uniquement à opposer sa propre appréciation des moyens de preuve et sa version des faits à celles de la cour cantonale, elle est purement appellatoire. Il en va notamment ainsi lorsqu'il reprend les différentes déclarations tenues durant la procédure pour en proposer sa propre interprétation ou lorsqu'il soutient que le rôle de B._ aurait été tout aussi important que le sien, en alléguant que celui-ci se serait déjà rendu en Suisse avant pour importer de la cocaïne, que seul l'ADN du prénommé aurait été trouvé sur le sac à dos, que les nombreuses connexions ou tentatives de connexion téléphoniques proviendraient du téléphone de l'intéressé vers celui du recourant, qu'ils auraient été amis et qu'il n'existerait donc pas de lien de subordination entre eux. Le recourant remet également en cause son propre rôle. Il ne fait, là encore, que rediscuter, de manière purement appellatoire, l'appréciation de la cour cantonale, en particulier lorsqu'il soutient qu'il aurait assumé le même risque d'arrestation que B._ en l'accompagnant et que le fait qu'il lui indiquait le chemin ne serait pas pertinent, pas plus que les contacts qu'il avait eus avec une autre mule. Au surplus, il prétend qu'il serait erroné de déduire de son antécédent en matière de LStup, comme l'aurait fait la cour cantonale, que sa position hiérarchique était supérieure. Or, une telle justification ne ressort aucunement du jugement attaqué.
Le recourant prétend également qu'il aurait été arbitrairement retenu que les regrets exprimés par B._ étaient plus sincères que les siens. Encore, une fois, le recourant ne fait que présenter sa propre interprétation des déclarations exprimées lors des débats d'appel, dans une démarche purement appellatoire.
Au vu de ce qui précède, le recourant ne démontre nullement qu'il était manifestement insoutenable de retenir, comme l'a fait la cour cantonale, qu'il avait un rôle hiérarchique plus important que B._ dans le trafic de cocaïne et que celui-ci, contrairement à lui, avait amorcé une prise de conscience. Purement appellatoire, ses critiques sont irrecevables.
1.5. Le recourant soutient que la cour cantonale aurait abusé de son large pouvoir d'appréciation en fixant une peine de 18 mois supérieure à celle de B._, arguant qu'il n'aurait pas eu un rôle hiérarchiquement supérieur et que ses regrets auraient été sincères. Ce faisant, le recourant conteste la quotité de la peine non sur la base des faits retenus, dont il n'a pas démontré l'arbitraire (cf. supra consid. 1.4), mais sur la base des faits qu'il invoque librement. De la sorte, il n'articule aucun grief recevable tiré de l'application erronée du droit. En outre, dans une argumentation peu intelligible, le recourant soutient que B._ aurait eu un rôle de coauteur, ce qui serait d'autant plus vrai dans la mesure où la LStup ne laisserait quasiment pas de place à la complicité ou à l'instigation. Il semble reprocher à la cour cantonale de ne pas l'avoir retenu. Dans la mesure où la cour cantonale a bien condamné B._ en qualité d'auteur d'infraction à la LStup, on ne distingue dès lors pas et le recourant ne l'expose pas, ce qu'il entend en déduire. En outre, contrairement à ce que semble penser le recourant, retenir une coactivité ne signifie pas nécessairement que la peine doit être égale entre les différents coauteurs, conformément à la jurisprudence (cf. supra consid. 1.2). Enfin, le recourant reproche à la cour cantonale d'avoir " fait grand cas " de ses antécédents. Cette simple affirmation n'est pas propre à indiquer en quoi la cour cantonale aurait accordé un poids trop important aux antécédents du recourant et, au vu de la motivation cantonale, il n'apparaît pas que tel soit le cas, dans la mesure où la cour cantonale s'est également fondée sur le nombre de cas plus important commis par le recourant, son rôle hiérarchiquement plus élevé dans le trafic et ses regrets dépourvus de tout véritable investissement.
En définitive, le recourant ne cite aucun élément important, propre à modifier la peine, qui aurait été omis ou pris en considération à tort par la cour cantonale, ni ne démontre que la cour cantonale aurait dû pondérer différemment l'un ou l'autre élément. Au regard des circonstances, il n'apparaît donc pas que la cour cantonale aurait abusé du large pouvoir d'appréciation dont elle disposait en fixant la quotité de la peine privative de liberté du recourant, ni qu'elle aurait violé le principe de l'égalité de traitement. Le grief de violation de l'<ref-law> est infondé dans la très faible mesure de sa recevabilité.
2.
Le recours doit être rejeté dans la mesure de sa recevabilité. Au vu du sort du recours, la requête d'assistance judiciaire doit être rejetée, faute de chance de succès. Le recourant, qui succombe, supporte les frais judiciaires, qui seront fixés en tenant compte de sa situation financière qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 29 avril 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Meriboute