Faits :
A.
Par jugement du 22 juin 2017, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré X._ des chefs d'accusation de faux dans les certificats et d'infraction grave à la LStup (I), a constaté qu'il s'est rendu coupable d'infraction à la LEtr (II), l'a condamné à une peine privative de liberté de trois mois et a constaté que cette peine est entièrement compensée par la détention préventive subie (III), a ordonné sa mise en liberté immédiate (IV), a révoqué le sursis accordé par le procureur valaisan le 17 avril 2014 et ordonné l'exécution de la peine pécuniaire de 60 jours-amende à 30 fr. le jour (V), a renoncé à révoquer la libération conditionnelle accordée à X._ le 3 mars 2013 (VI), a refusé d'octroyer à X._ une indemnité au sens de l'art. 429 al. 1 let. c CPP (VIII).
Le tribunal de première instance a libéré X._ du chef d'infraction à la LStup, au bénéfice du doute. Il a retenu la thèse, soutenue par X._, selon laquelle il avait saisi et jeté certains emballages de drogue dans un mouvement de colère contre son frère, dans l'appartement de celui-ci, indigné qu'il consomme et trafique des stupéfiants, ce qui expliquait la présence de son ADN sur certains emballages incriminés. Premièrement, cette explication était corroborée par les déclarations de sa compagne et de son frère. Deuxièmement et surtout, elle ne pouvait être tenue pour invraisemblable en raison d'éventuelles considérations techniques ou scientifiques. S'agissant de la drogue en possession de la compagne de X._, le tribunal a également admis la thèse selon laquelle il avait pu toucher les sachets incriminés dans un autre contexte, avant qu'ils servent à conditionner la drogue.
B.
Statuant sur appels du ministère public et de X._ par jugement du 18 octobre 2017, la Cour d'appel pénale du Tribunal cantonal vaudois a partiellement admis le premier et a rejeté le second. En substance, outre l'infraction à la LEtr elle a constaté que X._ s'était rendu coupable d'infraction grave à la LStup. Elle a confirmé le jugement de première instance quant à l'acquittement du chef de prévention de faux dans les certificats. Compte tenu de la condamnation pour infraction grave à la LStup, elle a révoqué la libération conditionnelle accordée le 3 mars 2013, a condamné X._ à une peine privative de liberté d'ensemble de cinq ans et demi, sous déduction de la détention subie et révoqué le sursis accordé le 17 avril 2014.
B.a. La cour cantonale a en substance retenu que, entre juillet 2015 et le 19 septembre 2016, X._ a participé à un trafic d'héroïne avec son frère cadet A._ et B._, ainsi qu'avec son amie C._, portant sur un total d'au moins 1133 g d'héroïne, correspondant à 310 g d'héroïne pure.
Elle s'est fondée sur la présence du profil ADN de X._ sur différents conditionnements de la drogue saisie et sur l'identité de source de la drogue dans chaque trafic. Elle a écarté les explications données par X._, corroborées par son frère et sa compagne, les jugeant mensongères.
B.a.a. A Lausanne, le 30 juillet 2015, un total de 842,1 g d'héroïne (correspondant à 258,1 g d'héroïne pure), dont un « pain » de 509 g (173,1 g d'héroïne pure) a été saisi dans l'appartement occupé par A._ et B._. Le profil ADN de X._, en mélange avec celui de A._, était présent sur la face extérieure du ruban adhésif entourant le « pain » d'héroïne, lui-même emballé sous vide dans un plastique. L'entier de la drogue saisie dans l'appartement présentait le même profil chimique.
Le même jour, B._ a été interpellé à Lausanne alors qu'il était en possession de 103,4 g d'héroïne (33,6 g d'héroïne pure), conditionnés dans des emballages constitués de deux sachets bleus. Le profil ADN de X._ était présent sur ces sachets, lesquels contenaient une héroïne dont la composition chimique était la même que celle de la drogue saisie dans l'appartement.
B.a.b. A Corsier-sur-Vevey, le 19 septembre 2016, lors de son interpellation, X._ était accompagné de son amie C._, laquelle détenait deux sachets de 0,4 et 0,8 g d'héroïne. Lors de son interpellation, X._ et son amie étaient en possession de sept téléphones portables, dont les abonnements étaient établis sous des noms fictifs.
A Aigle, le 5 octobre 2016, date à laquelle X._ était déjà détenu, C._ a été interpellée alors qu'elle était en possession de 187,1 g d'héroïne (18,5 g d'héroïne pure). Le profil ADN de X._ était présent sur l'extérieur et la partie ouverture de l'avant-dernier sachet contenant 178,2 g d'héroïne (17,2 g d'héroïne pure). Une partie de la drogue (0,4 g) saisie le 19 septembre 2016 et la drogue saisie le 5 octobre 2016 présentaient le même profil chimique.
B.b. B._, A._ et C._ ont été condamnés, séparément, par jugements des 22 avril 2016, 11 juillet 2016 et 29 mai 2017, notamment pour infraction à la LStup en raison de ces faits. L'héroïne en leur possession était destinée à la vente (cf. pce 69, jugement du 22 avril 2016 concernant B._, p. 4; pce 95, jugement du 11 juillet 2016 concernant A._, p. 11; pce 94, annexe au jugement du 29 mai 2017 concernant C._, p. 2).
B.c. X._ a été condamné, par jugement du 30 avril 2002, à quatre ans de réclusion et, par jugement du 9 septembre 2008, à une peine privative de liberté d'ensemble de huit ans, notamment pour crimes contre la LStup. Il a été libéré conditionnellement le 3 mars 2013, avec délai d'épreuve jusqu'au 25 septembre 2015. Le 17 avril 2014, il a été condamné pour entrée illégale et faux dans les certificats, dès lors qu'il était notamment porteur d'un faux permis de conduire italien lorsqu'il se dirigeait en Italie, en tant que passager d'un véhicule conduit par un compatriote. Lors du contrôle des gardes-frontières, une quantité de 1,036 kg de haschich a été découverte dissimulée derrière le tableau de bord de la voiture. X._ a été mis hors de cause par le conducteur pour ce qui est de ces stupéfiants.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement cantonal et conclut, avec suite de frais et dépens, à sa réforme en ce sens que le jugement de première instance est confirmé sous réserve des conclusions prises en appel. Subsidiairement, il conclut à l'annulation de la décision cantonale et au renvoi de la cause à la cour cantonale pour nouveau jugement. Il requiert l'octroi de l'assistance judiciaire.

Considérant en droit :
1.
En substance, la cour cantonale a retenu que le recourant était impliqué dans le trafic de drogue sur la base des éléments suivants.
Elle a tenu compte de la présence de l'ADN du prévenu sur trois emballages d'héroïne, saisis à deux dates différentes (30 juillet 2015 et 5 octobre 2016) dans trois lieux différents et relevé l'identité des profils chimiques de l'héroïne saisie en juillet 2015 d'une part, et d'une partie de celle saisie le 19 septembre 2016 (0,4 g) et celle saisie le 5 octobre 2016, d'autre part.
Elle a jugé mensongères les explications relatives à la présence de traces ADN du recourant sur tous les sachets de drogue et les a écartées.
La thèse selon laquelle le recourant - qui prétendait ne plus avoir été impliqué dans le trafic de stupéfiants depuis 2007 et ne plus avoir fréquenté un tel milieu depuis sa sortie de prison - aurait jeté les emballages de drogue incriminés lors d'un accès de colère chez son frère, indigné qu'il se livre au trafic, ne tenait pas. Pour parvenir à cette conclusion, la cour cantonale a notamment considéré que sa personnalité, son mode de vie, sa condamnation quelques mois après sa libération conditionnelle (2014) et sa tolérance vis-à-vis de la toxicodépendance de son amie étaient peu compatibles avec l'indignation qu'il prétendait éprouver en réalisant que son frère consommait et trafiquait des stupéfiants. Par ailleurs, son frère et sa compagne étaient conscients de l'enjeu et leurs déclarations devaient être appréciées avec prudence tant en raison de leurs liens avec le recourant qui les autorisaient à refuser de témoigner à son sujet (art. 168 al. 1 let. a et d CPP) que de leurs propres implications dans le trafic de stupéfiants. La cour cantonale a relevé des incohérences dans leurs déclarations et constaté que ce n'est qu'une fois transféré dans le même établissement pénitentiaire que son frère, que le recourant a fourni la même version que ce dernier, au sujet de son accès de colère. Enfin, une manipulation fortuite d'un sachet n'aurait pu laisser des traces qu'à l'extérieur du contenant et non sur la bande adhésive entourant le pain d'héroïne.
Par ailleurs, la cour cantonale a écarté la thèse selon laquelle C._ aurait conditionné la drogue dans des sachets que le recourant aurait employé préalablement en faisant de la cuisine, ne la jugeant pas crédible. D'une part, cette thèse entrait en contradiction avec les affirmations selon lesquelles C._ prenait des précautions particulières pour éviter toute trace permettant d'identifier le fournisseur. D'autre part, il n'était pas crédible de réutiliser des sachets usagés qui auraient été manipulés à vide par le recourant, compte tenu de la faible valeur vénale de ces sachets, couramment disponibles dans le commerce de détail et que l'intéressée relevait elle-même posséder en nombre et acheter sans difficulté.
En définitive, la cour cantonale a acquis la conviction, dépourvue de doute, que le recourant a, de juillet 2015 au 19 septembre 2016, été impliqué dans la mise sur le marché de l'entier de l'héroïne saisie d'une part dans l'appartement de son frère et sur B._, et d'autre part, sur C._ (à l'exception de 0,8 g d'héroïne qui présentait un profil chimique différent). Elle a ainsi admis l'appel du ministère public et réformé le jugement de première instance.
2.
Dans une première argumentation, le recourant reproche à la cour cantonale d'être entrée en matière sur l'appel du ministère public en violation de l'<ref-law>.
2.1. Selon l'<ref-law>, l'appel peut être formé pour violation du droit, y compris l'excès et l'abus du pouvoir d'appréciation, le déni de justice et le retard injustifié (let. a), constatation incomplète ou erronée des faits (let. b) et inopportunité (let. c).
2.2. Dans sa déclaration d'appel, le ministère public a pris expressément des conclusions tendant notamment à la condamnation du recourant du chef d'infraction grave à la LStup, a déclaré qu'il n'adhérait pas aux doutes émis par les juges de première instance et a exposé dans quelle mesure ces derniers auraient constaté les faits de manière incomplète et erronée en se fondant sur les éléments de preuve figurant au dossier. En cela, la cour cantonale, qui disposait d'un plein pouvoir d'examen en fait, dès lors que la procédure n'avait pas exclusivement pour objet des contraventions (cf. art. 398 al. 3 let. b et 4 CPP), devait entrer en matière sur l'appel du ministère public, dans la mesure où il ne présentait pas de motif d'irrecevabilité. Sur ce point, il est précisé que le recourant, dûment informé de la faculté de former une demande de non-entrée en matière (<ref-law>) y a renoncé (cf. courrier du tribunal cantonal du 27 juillet 2017, pce 105 et réponse du conseil du recourant du 14 août 2017, pce 107; <ref-law>) et n'a pas soulevé de tel motif en audience d'appel.
En tant que le recourant semble reprocher à l'autorité précédente de s'être livrée à une appréciation différente de celle ressortant de l'appel du ministère public et y voit une violation de l'<ref-law>, il se méprend sur la portée de l'acte d'appel qui doit satisfaire aux exigences de l'<ref-law> mais n'exige pas que le mémoire soit exhaustif sous cet angle, sous peine d'irrecevabilité.
3.
Sous couvert d'une violation de son droit d'être entendu, le recourant reproche à la cour cantonale d'avoir retenu sa participation au trafic de drogue en écartant ses déclarations, corroborées par celles de sa compagne et de son frère, sans l'avoir entendu sur les faits de la cause et sans avoir procédé d'office à sa propre audition, celle de son frère et de sa compagne.
3.1. L'appel doit permettre un nouvel examen au fond par la juridiction d'appel. Celle-ci ne doit pas se borner à rechercher les erreurs du juge précédent et à critiquer le jugement de ce dernier; elle doit tenir ses propres débats et prendre sa décision sous sa responsabilité et selon sa libre conviction, qui doit reposer sur le dossier et sa propre administration des preuves. L'appel tend à la répétition de l'examen des faits et au prononcé d'un nouveau jugement (cf. <ref-law>; arrêts 6B_574/2015 du 25 février 2016 consid. 1; 6B_78/2012 du 27 août 2012 consid. 3.1). L'immédiateté des preuves ne s'impose toutefois pas en instance d'appel. En effet, selon l'<ref-law>, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'administration des preuves du tribunal de première instance n'est répétée que si les dispositions en matière de preuves ont été enfreintes (al. 2 let. a); l'administration des preuves était incomplète (al. 2 let. b); les pièces relatives à l'administration des preuves ne semblent pas fiables (al. 2 let. c). L'autorité de recours administre, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours (al. 3). Conformément à l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêt 6B_977/2014 du 17 août 2015 consid. 1.2 et les références).
Selon l'<ref-law>, applicable aux débats d'appel par le renvoi de l'<ref-law>, le tribunal réitère l'administration des preuves qui, lors de la procédure préliminaire, ont été administrées en bonne et due forme lorsque la connaissance directe du moyen de preuve apparaît nécessaire au prononcé du jugement. La connaissance directe d'un moyen de preuve est nécessaire, au sens de l'<ref-law>, lorsqu'elle est susceptible d'influer sur l'issue de la procédure. Tel est notamment le cas lorsque la force du moyen de preuve dépend de manière décisive de l'impression suscitée lors de sa présentation, par exemple lorsque l'impression directe suscitée par les déclarations d'un témoin est particulièrement décisive, ainsi lorsque cette déposition constitue le seul moyen de preuve direct (déposition contre déposition; cf. <ref-ruling> consid. 4.4.2 p. 199 s. et les références citées; arrêts 6B_683/2015 du 7 avril 2016 consid. 1.1; 6B_430/2015 du 12 juin 2015 consid. 2.3.2; 6B_1251/2014 du 1er juin 2015 consid. 1.3). Une administration directe des preuves par la cour d'appel peut en outre s'avérer nécessaire dans les situations prévues par l'<ref-law>, lorsqu'elle souhaite s'écarter de l'état de fait retenu en première instance (cf. <ref-ruling> consid. 4.4.1 p. 199 et les références citées; arrêts 6B_683/2015 du 7 avril 2016 consid. 1.1; 6B_288/2015 du 12 octobre 2015 consid. 1.3.1; 6B_1149/2014 du 16 juillet 2015 consid. 6.3).
Seules les preuves essentielles et décisives dont la force probante dépend de l'impression qu'elles donnent doivent être réitérées. S'agissant d'un témoignage, l'administration de la preuve n'apparaît pas nécessaire uniquement au regard de son contenu (soit ce que dit le témoin), mais bien plutôt lorsque le jugement dépend de manière décisive du comportement du témoin (soit comment il le dit). Le tribunal dispose d'une certaine marge d'appréciation au moment de déterminer si une nouvelle administration de la preuve est nécessaire (<ref-ruling> consid. 4.4.2 p. 199; arrêts 6B_683/2015 du 7 avril 2016 consid. 1.1; 6B_430/2015 du 12 juin 2015 consid. 2.3.2; 6B_1251/2014 du 1er juin 2015 consid. 1.3; 6B_200/2013 du 26 septembre 2013 consid. 2.3 et les références citées).
3.2. Cité à comparaître personnellement à l'audience d'appel, le recourant a demandé, par courrier du 7 septembre 2017, une dispense au motif qu'il était occupé à l'exploitation d'un domaine horticole familial en Albanie et que " les frais de voyage et de logement seraient disproportionnés, du moment qu'il ne pourrait que se limiter à confirmer les déclarations faites en cours d'instruction et à l'audience de jugement ". Dans ce cadre, il a précisé qu'il confirmait ses déclarations précédentes (courrier du conseil du recourant du 7 septembre 2017, pce 109; cf. <ref-law>). Sa requête de dispense de comparution personnelle a été rejetée au vu des enjeux, notamment factuels, que soulevaient les appels et de la nécessité d'être en mesure d'instruire sur les faits et de poser des questions au recourant (courrier de la cour cantonale du 20 septembre 2017, pce 110; cf. <ref-law>). Un sauf-conduit (<ref-law>) a été délivré au recourant le 11 octobre 2017 (pce 112; cf. <ref-law>).
Lors de l'audience d'appel, le recourant était absent et son conseil a expressément requis sa dispense de comparaître personnellement. Le conseil a plaidé pour le recourant, conclu à l'admission de son appel et au rejet de celui du ministère public et répliqué (cf. jugement entrepris, p. 2 s.). Dans ces circonstances, le recourant est mal venu d'invoquer une violation de son droit d'être entendu au motif qu'il n'aurait pas été personnellement entendu. L'explication selon laquelle il était convaincu que l'appel serait rejeté ne lui est d'aucun secours. En outre, l'on ne voit pas sur quel fondement la cour cantonale, saisie d'un appel du ministère public et du recourant, aurait dû lui indiquer qu'elle entendait accueillir le premier.
Au demeurant, la cour cantonale n'était pas tenue, d'office, de l'auditionner sur ses explications relatives à la présence de son ADN, dès lors qu'elle les a écartées sur la base d'éléments objectivés non contestés (cf. <ref-law>) qui ne ressortent pas du contenu de ses déclarations. Il s'agit notamment de faits tels que sa personnalité, son mode de vie et ses fréquentations au moment des actes reprochés, sa condamnation en 2014, l'alignement de sa version sur celle de son frère au moment où il a été transféré dans le même établissement pénitentiaire, l'emplacement des traces ADN sur des sachets provenant de deux trafics distincts (l'un impliquant sa compagne, l'autre son frère) et l'identité de certains profils chimiques d'héroïne. Or l'on ne voit pas en quoi la réaudition du recourant aurait une incidence sur les éléments pris en compte par la cour cantonale.
Cela étant, son grief tiré d'une violation de son droit d'être entendu est infondé.
3.3. S'agissant de l'audition de A._ et C._, il est relevé qu'en audience d'appel, aucune réquisition d'entrée de cause ni question préjudicielle n'a été soulevée. D'entente avec les parties, l'instruction a été close (cf. jugement entrepris, p. 2 s.). Ainsi, valablement représenté en audience, le recourant, qui avait également formé appel, n'a pas requis de la cour cantonale des mesures d'instruction. Il ne soutient, du reste, pas l'avoir fait en vain. En particulier, alors que sa demande d'audition de son frère avait été rejetée en première instance, il ne l'a pas réitérée en appel.
S'agissant de la question de savoir si la cour cantonale devait procéder à leur réaudition d'office, le recourant ne soulève aucun grief tiré du droit à un procès équitable en rapport avec l'art. 6 CEDH (cf. <ref-law>; arrêts 6B_272/2018 du 15 mai 2018 consid. 3.4; 6B_493/2017 du 5 octobre 2017 consid. 1.5 sur l'obligation de motiver un tel grief). En ce qui concerne une éventuelle violation des règles du CPP, le recourant se borne à affirmer que la cour cantonale ne pouvait pas renoncer à faire une quelconque instruction, au vu de l'enjeu du procès et de ce qu'elle entendait faire; il n'explique pas quelles circonstances auraient exigé la répétition des auditions. Insuffisamment motivé, son grief est irrecevable (cf. <ref-law>).
Au demeurant, ce n'est pas en raison de la manière dont les déclarations des intéressés ont été faites qu'elles ont été écartées mais sur la base, outre des critères objectifs relevés supra (consid. 3.2 in fine), du lien particulier de A._ et C._ avec le recourant et de leur propre implication dans le trafic de drogue. Ces derniers éléments sont établis et non contestés (cf. <ref-law>). Ainsi, l'impression suscitée par les déclarations immédiates des intéressés à la cour cantonale n'aurait aucune incidence sur l'appréciation des preuves, partant sur la décision. Pour le surplus, la condamnation du recourant en appel ne se fonde pas sur l'appréciation d'une déposition contre une autre mais sur la base d'éléments de preuves matériels.
Au vu de ce qui précède, le grief doit être rejeté dans la mesure où il est recevable.
4.
Le recourant fait valoir une violation de l'<ref-law> et se plaint d'une instruction exclusivement à charge.
4.1. Durant l'instruction le ministère public doit établir, d'office et avec un soin égal, les faits à charge et à décharge (<ref-law>). Dans ce cadre, il est tenu à une certaine impartialité même s'il peut être amené, provisoirement du moins, à adopter une attitude plus orientée à l'égard du prévenu ou à faire état de ses convictions à un moment donné de l'enquête. Tout en disposant, dans le cadre de ses investigations, d'une certaine liberté, le magistrat reste tenu à un devoir de réserve. Il doit s'abstenir de tout procédé déloyal, instruire tant à charge qu'à décharge et ne point avantager une partie au détriment d'une autre (<ref-ruling> consid. 2.2.1 p. 145). En revanche, après la rédaction de l'acte d'accusation, le ministère public devient une partie aux débats, au même titre que le prévenu ou la partie plaignante (art. 104 al. 1 let. c CPP). Par définition, il n'est plus tenu à l'impartialité et il lui appartient en principe de soutenir l'accusation (art. 16 al. 2 in fine CPP; <ref-ruling> consid. 2.2.2 p. 145 et les références citées).
4.2. En tant que le recourant soulève pêle-mêle des critiques insuffisamment motivées, dirigées contre les " enquêteurs ", le ministère public et la cour cantonale, celles-ci sont irrecevables. En tant que son argumentation revient à réintroduire une violation de son droit d'être entendu par la cour cantonale, il est renvoyé supra au consid. 3.
Le recourant ne tente pas de démontrer en quoi l'omission d'interroger C._ et A._ au sujet des personnes présentes dans l'appartement aurait contrevenu à l'<ref-law>. Son moyen est irrecevable. En tout état, il admet que son conseil a posé la question qu'il souhaitait à C._.
Dès lors qu'il n'a pas été retenu que le recourant avait laissé des traces biologiques tant sur l'extérieur que sur l'intérieur des sachets bleus mais uniquement que des traces ont été retrouvées sur ces sachets sans autre précision (cf. supra consid. B.a), c'est en vain qu'il se plaint de la partialité des " enquêteurs " lorsqu'ils lui ont demandé comment il expliquait cela.
5.
Le recourant invoque l'arbitraire dans l'appréciation des preuves et l'établissement des faits. En substance, il reproche à la cour cantonale de s'être fondée sur la présence de son profil ADN sur des sachets de drogue pour retenir son implication dans le trafic, tout en écartant ses explications, corroborées par sa compagne et son frère. Il invoque également une violation du " principe du doute qui doit profiter à l'accusé ".
5.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des conclusions insoutenables (<ref-ruling> consid. 2.3 p. 266 et les références citées). Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368). La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves (<ref-ruling> consid. 2a p. 40 s.). Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
5.2. La cour cantonale a motivé de manière détaillée, sur 11 pages, son appréciation des preuves et en particulier des explications fournies par le recourant, son frère et sa compagne relatives à la présence de son profil ADN sur les sachets de drogue (jugement entrepris consid. 4.2 ss, p. 14-25; cf. supra consid. 1).
5.3. Les critiques du recourant consistent essentiellement, sur 18 pages, à opposer sa propre appréciation des faits et des preuves à celle de la cour cantonale. En cela son argumentation est largement appellatoire. Elle se fonde en outre non sur les faits retenus, dont il n'a pas démontré l'arbitraire, mais sur les faits qu'il invoque librement. Une telle démarche ne répond pas aux exigences de motivation déduites des art. 42 al. 2 et 106 al. 2 LTF et elle est irrecevable. Il sera ci-après uniquement répondu aux quelques arguments du recourant qui n'apparaissent pas d'emblée irrecevables pour ces motifs.
5.3.1. Le recourant pointe certaines incohérences et erreurs de plume du jugement cantonal, sans démontrer leur incidence sur l'appréciation des preuves, partant sur l'issue de la cause.
C'est le cas notamment lorsqu'il précise que A._ a été condamné en procédure ordinaire et non en procédure simplifiée ou qu'il a toujours contesté sa participation au trafic, ce qui est du reste patent et ressort du jugement entrepris (consid. 4.1 p. 13). La précision relative au temps écoulé entre les différentes saisies de drogue est dépourvue de pertinence, dès lors que, ce qui importe, c'est que l'ADN du recourant a été retrouvé lors de plusieurs saisies qui ont eu lieu à des dates distinctes et non la période qui les sépare. Le recourant relève que la drogue saisie le 30 juillet 2015 n'a pas le même profil chimique que celle saisie les 19 septembre et 5 octobre 2016 sans expliquer la pertinence de cet aspect. En tout état, la cour cantonale a retenu que le recourant se livrait à un trafic d'héroïne tant avec son frère qu'avec sa compagne, sans établir que la drogue provenait, dans ces trafics distincts, de la même source. Certes, le recourant relève à juste titre que sa deuxième audition, lors de laquelle il a pour la première fois évoqué l'épisode de colère dans l'appartement de son frère, a eu lieu le 14 octobre 2016 et non le 6 février 2017, comme mentionné par la cour cantonale. Toutefois, cette erreur de date ne change rien au fait qu'il a d'abord affirmé ne pas comprendre la présence de son ADN sur la drogue saisie (le 20 septembre 2016) pour, dans un deuxième temps, une fois détenu dans le même établissement que son frère, expliquer son contact avec la drogue en s'appuyant sur le récit relatif à son accès de colère. Ainsi, l'élément relevé par le recourant ne permet pas de démontrer que la cour cantonale aurait arbitrairement retenu une collusion entre les frères.
5.3.2. Le recourant reproche à la cour cantonale d'avoir jugé peu crédible sa version de prétendu repenti qui se serait tenu à l'écart du milieu de la drogue depuis 2007 et qui aurait jeté les sachets de drogue, indigné par le trafic de son frère. Pour parvenir à cette conclusion, la cour cantonale a tenu compte notamment de l'actualité du trouble psychique du recourant, de son mode de vie au moment des faits (clandestinité, marginalité, précarité), de sa tolérance quant à la consommation et au trafic de sa compagne, de sa condamnation quelques mois après sa libération conditionnelle en 2014, ainsi que de la synchronisation des récits avec A._ et C._.
En tant que le recourant se contente de simples affirmations et renonce à toute critique circonstanciée de la motivation du jugement entrepris sur l'appréciation de la version des faits livrée par des protagonistes, ses griefs sont irrecevables.
Le recourant se plaint que la cour cantonale a écarté sa version sur la base notamment d'une expertise datant de 2002 et fait valoir qu'il aurait fallu la verser au dossier, au risque de violer l'<ref-law>. Or, si la cour cantonale a évoqué le diagnostic de personnalité dyssociale, posé en 2002, elle a relevé qu'un jugement ultérieur (2008) tenait pour actuelle l'analyse faite par les experts de la personnalité du recourant. Ce dernier n'oppose aucune critique circonstanciée contre cette motivation (cf. <ref-law>). Dès lors que l'expertise n'était pas déterminante dans l'appréciation de la cour cantonale, le recourant ne saurait rien déduire de l'<ref-law> à cet égard.
Par ailleurs, en tant que le recourant conteste sa tolérance face à la consommation de drogue par ses proches, il échoue à démontrer l'arbitraire de la constatation selon laquelle la thèse de l'indignation face à la consommation et au trafic de son frère ne tient pas, compte tenu des nombreux éléments pris en compte.
Le fait que le recourant n'aurait jamais eu de contact avec son frère en prison appuie la thèse de la cour cantonale, selon laquelle la communication aurait eu lieu par l'intermédiaire de détenus ou de visites. D'ailleurs, d'après les propres déclarations du recourant, les choses se savent dans la prison car les détenus parlent entre eux (jugement entrepris, consid. 4.4.2 " ça parle là-bas ").
Contrairement à ce que prétend le recourant, ce n'est pas parce que les protagonistes n'ont pas pu déterminer la date exacte de la rencontre dans l'appartement de A._ que la cour cantonale a, parmi d'autres motifs, écarté leur version, mais plutôt en raison des incohérences entre les déclarations des uns et des autres. En effet, alors que le recourant avait situé l'unique rencontre dans l'appartement avant le 11 juillet 2015, date de son arrivée en Allemagne chez sa soeur pour un séjour de 3 semaines (jusqu'au 2 août 2015), ce qu'il affirme à nouveau dans son mémoire de recours, A._ avait indiqué qu'il vivait dans l'appartement en question depuis le 20 juillet 2015. Sur la base de cette incohérence temporelle, la cour cantonale pouvait, sans arbitraire, écarter la thèse selon laquelle le recourant ne s'était rendu qu'à une reprise, en juillet 2015, dans cet appartement pour des raisons indépendantes du trafic de drogue.
En affirmant que les déclarations divergentes relatives à la fréquence des rencontres avec son frère ne sont pas déterminantes, le recourant se livre à une appréciation personnelle, partant irrecevable de celles-ci. En tout état, il n'est pas insoutenable de déduire notamment de variations sur cette question que le récit du recourant ne tenait pas. En effet, le recourant prétendait ne pas avoir vu son frère depuis un an et lui avoir présenté sa nièce pour la première fois en juillet 2015 alors que, selon sa compagne, ils s'étaient vus à deux ou trois reprises en 2015 et avaient déjà mangé tous les quatre en compagnie de sa nièce (jugement entrepris, consid. 4.4.4 p. 20 et consid. 5.3 p. 23).
5.3.3. Le recourant conteste également s'être adonné au trafic de drogue avec sa compagne. Dans un long développement, il reproche à la cour cantonale d'avoir arbitrairement qualifié de mensongères les déclarations de cette dernière expliquant la présence de traces ADN sur un sachet ayant contenu de la drogue saisie sur elle. Or il omet de critiquer l'essentiel de la motivation cantonale sur ce point, à teneur de laquelle il n'est pas crédible que C._ ait réutilisé un sachet usagé entreposé dans une cave chez sa mère, alors qu'elle prenait des précautions pour éviter toute trace permettant d'identifier le fournisseur. Le recourant échoue ainsi à démontrer que la cour cantonale a versé dans l'arbitraire en écartant les déclarations de C._ quant à la réutilisation de sachets usagés.
En tant que le recourant déclare qu'il est " établi, ou en tout cas le contraire n'est pas établi, que C._ a bien acquis la drogue après [son] arrestation ce qui le met hors de cause ", il se fonde sur des faits qui ne ressortent pas de la décision entreprise, dont il ne soulève pas l'arbitraire de l'omission. Ce procédé est irrecevable. Au demeurant, il est établi et non contesté qu'une partie de la drogue saisie avant l'incarcération du recourant présentait la même composition chimique que celle saisie en octobre 2017.
Le recourant prétend enfin qu'il n'aurait pas pu se mettre d'accord avec sa compagne sur le fait qu'il réutilisait des sachets pour congeler des aliments par exemple. Or, lors de son audition du 15 novembre 2016, il n'a pas su donner d'explications quant à ses traces biologiques laissées sur le sachet contenant près de 180 g d'héroïne, alors que le 6 février 2017 dans l'après-midi, après l'audition de sa compagne et sur question de son conseil, il a évoqué l'utilisation de sachets en cuisine (cf. PV d'auditions du 15 novembre 2016, pce 16 p. 3; et du 6 février 2017, pce 1 p. 6). Dans ces circonstances, la cour cantonale pouvait, sans arbitraire, retenir que les intéressés avaient synchronisé leurs déclarations pour expliquer la présence de traces biologiques du recourant sur les sachets destinés à la vente d'héroïne, en possession de sa compagne.
5.3.4. Le recourant livre une appréciation personnelle de quelques déclarations de l'expert, chef de laboratoire auditionné en première instance, quant au relevé de traces ADN. Ce procédé, purement appellatoire est irrecevable. En tout état, si l'expert indique qu'il ne peut pas se prononcer sur quelque manipulation que ce soit, il précise que le recourant est le contributeur majeur, donc principal, de l'une des traces retrouvée sur un sachet bleu (cf. jugement de première instance, p. 6, témoignage du chef de laboratoire). Le recourant ne saurait dès lors rien déduire en sa faveur du témoignage du chef de laboratoire sur ce point.
Le recourant se livre à une interprétation personnelle, partant irrecevable, de l'intensité des traces ADN et affirme que celles-ci ne démontrent rien de plus qu'un contact qu'il aurait eu avec les sachets bleus et le " pain " d'héroïne. Or, c'est à la suite d'un examen complet des éléments d'appréciation que la cour cantonale en a déduit une participation active du recourant au conditionnement de la drogue. Affirmer que les traces pourraient corroborer une autre hypothèse ne suffit pas à démontrer l'arbitraire de l'appréciation qu'en a fait la cour cantonale.
Le recourant se méprend lorsqu'il affirme que le scotch du " pain " d'héroïne sur lequel a été retrouvé son ADN ne se trouvait pas à l'intérieur d'un sachet sous vide mais entourait ce sachet, en se référant à deux photos figurant au dossier (annexe au PV 16, photo n° 2 et pièce n° 31, photo n° 1). En effet, il apparaît clairement, sur les images indiquées, que le " pain " est entouré d'un ruban adhésif brun, non pas le sachet.
S'agissant de la drogue saisie sur C._, le recourant affirme, de manière purement appellatoire, partant irrecevable, que la présence de son ADN sur le sachet du milieu et non pas sur le dernier (sachets emboités les uns dans les autres) prouverait qu'il est entré en contact avec ces sachets à une autre occasion que lors de l'emballage de la drogue. En tout état, l'on ne voit pas et le recourant ne démontre pas en quoi il serait arbitraire de déduire, notamment de l'existence de traces biologiques du recourant sur l'ouverture ainsi qu'à l'extérieur de l'avant-dernier sachet, contenant lui-même de l'héroïne, qu'il a conditionné la drogue qu'il contient. Le fait que le recourant était déjà incarcéré au moment où C._ a été arrêtée en possession des sachets d'héroïne n'est pas propre à démontrer l'arbitraire de cette constatation.
5.4. Au vu de l'ensemble des éléments retenus par la cour cantonale, celle-ci pouvait, sans arbitraire, écarter les explications du recourant relatives à la présence de traces ADN et retenir, sur la base des éléments à charge, qu'il a participé au conditionnement d'au moins 1133 g (842,1 + 103,4 + 0,4 + 187,1) d'héroïne (310 g de drogue pure) destinée au commerce.
6.
Le recourant semble invoquer une violation de l'<ref-law>.
6.1. Selon l'<ref-law>, celui qui, notamment, sans droit, entrepose, expédie, transporte, importe, exporte des stupéfiants ou les passe en transit (let. b); aliène ou prescrit des stupéfiants, en procure de toute autre manière à un tiers ou en met dans le commerce (let. c); possède, détient ou acquiert des stupéfiants ou s'en procure de toute autre manière (let. d), ou prend des mesures aux fins de commettre une des infractions visées aux let. a à f (let. g), est puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire.
L'art. 19 al. 1 let. g LStup vise tant la tentative que les actes préparatoires qualifiés qu'il tient pour aussi répréhensibles que les comportements énumérés aux let. a à f (<ref-ruling> consid. 3.2 p. 102 s.; <ref-ruling> consid. 3.2 p. 193). Ne peut prendre des mesures au sens de l'art. 19 al. 1 let. g LStup que celui qui projette d'accomplir l'un des actes énumérés à l'art. 19 al. 1 let. a à f LStup en qualité d'auteur ou de coauteur avec d'autres personnes. Celui qui n'envisage pas de commettre un tel acte ne prend pas de mesures à cette fin puisqu'il ne tente ni ne prépare l'une des infractions en question. Il est au plus complice de celui qu'il aide à commettre un des actes prévus à l'art. 19 al. 1 let. a à g LStup (ATF <ref-ruling> consid. 3.2 p. 193 s.; <ref-ruling> consid. 2 p. 135 ss).
A teneur de l'<ref-law>, l'auteur de l'infraction est puni d'une peine privative de liberté d'un an au moins, cette sanction pouvant être cumulée avec une peine pécuniaire, s'il sait ou ne peut ignorer que l'infraction peut directement ou indirectement mettre en danger la santé de nombreuses personnes.
6.2. Selon le recourant, dès lors que la drogue a été saisie, elle n'a pas été mise sur le marché. Or l'art. 19 al. 1 let. g LStup punit expressément celui qui prend des mesures pour, notamment, transporter des stupéfiants ou les mettre dans le commerce. Ainsi, en participant au conditionnement de l'héroïne, le recourant a pris des mesures aux fins de commettre une infraction visée aux art. 19 al. 1 let. a et b LStup. Cela étant, c'est en vain que le recourant prétend qu'au moment où la drogue a été mise sur le marché par B._, il était chez sa soeur en Allemagne.
Selon le recourant, il n'est pas possible de retenir qu'il aurait mis sur le marché une quantité de stupéfiants correspondant aux saisies de juillet 2015 à septembre 2016. Il est douteux que cette critique réponde aux conditions de motivation de l'<ref-law>. En tout état, il omet que les actes préparatoires suffisent à le condamner pour infraction à la LStup, quand bien même il n'aurait pas personnellement vendu la drogue.
Pour le surplus, il ne conteste pas que le cas grave de l'<ref-law> est réalisé en l'espèce en raison de la quantité d'héroïne en question (cf. <ref-ruling> consid. 3b p. 145).
Selon le recourant, l'intime conviction de la cour cantonale viole le principe " pas de peine, sans loi " sans développer davantage son grief, de sorte qu'il n'y a pas lieu d'entrer en matière sur ce point, faute de tout développement (<ref-law>).
7.
Le recourant ne formule aucun grief quant à la peine privative de liberté d'ensemble de cinq ans et demi, incluant le solde de peine de deux ans, six mois et 22 jours faisant l'objet de la libération conditionnelle accordée le 3 mars 2013.
Compte tenu du sort du recours, il n'y a pas lieu d'entrer en matière sur les griefs dirigés contre la révocation de la libération conditionnelle de 2013, fondés sur l'acquittement du chef d'infraction grave à la LStup. Il en va de même des griefs tendant à l'indemnisation de la détention injustifiée.
8.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité. Comme il était dénué de chances de succès, la demande d'assistance judiciaire doit également être rejetée (<ref-law>). Le recourant devra donc supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 5 juin 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke