Faits : A. Par jugement du 11 juillet 2019, le Tribunal criminel de l'arrondissement de Lausanne a constaté que A._ s'est rendu coupable d'infraction grave à la LStup et d'infractions à la LEI. Il l'a condamné à une peine privative de liberté de 7 ans, sous déduction de la détention subie avant jugement. Il a ordonné que 13 jours de détention soient déduits de la peine fixée, à titre de réparation du tort moral subi en raison de 26 jours de détention dans des conditions de détention provisoire illicites et a révoqué le sursis octroyé à A._ par le Ministère public de l'arrondissement du Nord vaudois le 9 janvier 2018 tout en ordonnant l'exécution de la peine pécuniaire de 40 jours-amende à 30 fr. le jour. Il a ordonné son expulsion du territoire suisse pour une durée de 10 ans. B. Par jugement du 28 novembre 2019, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par A._ à l'encontre de ce jugement. Les faits retenus en lien avec le trafic de stupéfiants sont en substance les suivants. A B._ notamment, à tout le moins entre le mois de juillet 2017 et le 24 juillet 2018, date de son interpellation, A._, ressortissant du Nigéria, a participé, notamment avec C._ et D._, déférés séparément, à un important trafic de cocaïne. En particulier, entre le mois de juillet 2017 et le 24 juillet 2018, A._ a vendu 60 boulettes de cocaïne, représentant 48 g nets, à différents individus, qui n'ont pas pu être identifiés. Il achetait la boulette au prix de 30 fr. et la revendait au prix de 50 fr., réalisant ainsi un bénéfice total de 1'200 francs. Les taux de pureté moyenne de la cocaïne pour les années 2017 et 2018, pour des quantités de moins de 1 g de cocaïne, étant de respectivement 28% et 38%, A._ a ainsi vendu une quantité pure de cocaïne de 15,84 g de cocaïne. La perquisition du domicile clandestin de A._ a permis la saisie d'un sachet contenant des parachutes de cocaïne, pour un poids total de 18,6 g bruts, et d'une boulette de cocaïne, qui étaient destinés à la vente. L'analyse de la cocaïne saisie au domicile de A._ a révélé des taux de pureté moyenne compris entre 46,8% et 89%, représentant une quantité pure totale de 16,1 g destinés à la vente. A B._, entre le 9 et le 12 juillet 2018, A._, agissant pour le compte de C._, a reçu et distribué, avec D._, 165 fingers de cocaïne, soit 1'650 g bruts, à différents individus, dont notamment E._, lui aussi déféré séparément. Cette marchandise lui avait été livrée par F._. A B._, entre le 16 et le 18 juillet 2018, A._, agissant pour le compte de C._, a reçu et distribué 261 fingers de cocaïne, soit 2'610 g bruts, à différents individus, dont notamment G._, également déféré séparément. Cette marchandise lui avait été livrée par F._. Le taux de pureté moyenne de la cocaïne pour 2018, pour des quantités de 1 à 10 g de cocaïne, étant de 55%, A._ a ainsi reçu et distribué une quantité pure de 2'343 g de cocaïne. C. A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement de la Cour d'appel pénale. Il conclut, en substance, avec suite de frais et dépens, principalement, à la réforme du jugement attaqué en ce sens qu'il est condamné à une peine privative de liberté de 1 an, sous déduction de la détention préventive et anticipée déjà subie. A titre subsidiaire, il conclut à l'annulation du jugement entrepris et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.