Faits :
A.
Par jugement du 3 juin 2013, le Tribunal du IIe arrondissement pour le district de Sion a condamné X._ à une peine privative de liberté de 54 mois pour violation grave de la LStup, à raison de faits survenus de décembre 2004 à août 2005 et de janvier 2009 à mars 2012.
X._ a purgé les 2/3 de cette peine le 13 mars 2015. Le terme est fixé au 13 septembre 2016.
B.
Par décision du 8 mars 2016, le Tribunal d'application des peines et mesures (ci-après TAPEM) a refusé d'accorder la libération conditionnelle à X._.
C.
Par ordonnance du 17 mai 2016, la Chambre pénale du Tribunal cantonal du canton du Valais a rejeté le recours formé contre cette décision par X._.
D.
Ce dernier forme un recours en matière pénale auprès du Tribunal fédéral contre cette ordonnance. Il conclut, avec suite de frais et dépens, à sa libération immédiate, subsidiairement à sa libération conditionnelle immédiate, plus subsidiairement à l'annulation de l'ordonnance et au renvoi de la cause à l'autorité cantonale pour nouvelle décision. II sollicite le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, le Tribunal fédéral n'examine en principe que les griefs soulevés. Le recourant doit par conséquent critiquer les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2 p. 116). Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 6.3 p. 375).
2.
Le recourant se plaint d'une constatation arbitraire des faits.
2.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Pour que la décision soit annulée, il faut qu'elle se révèle arbitraire non seulement dans ses motifs mais aussi dans son résultat (<ref-ruling> consid. 6.1 p. 205). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 6.3 p. 375).
2.2. Le recourant estime qu'il était arbitraire de retenir qu'il imputait les crimes qui lui étaient reprochés à des facteurs extérieurs (cf. ordonnance attaquée, p. 6). Il invoque à cet égard d'une part les regrets émis lors de l'audience du TAPEM du 12 mars 2015, d'autre part ses déclarations, telles que reprises dans le plan d'exécution de la sanction pénale du 19 février 2016 (ci-après PES), ch. 6.2. Ces dernières déclarations corroborent le fait critiqué. Quant aux regrets exprimés en fin d'audience, ils ne suffisent pas à eux seuls à rendre arbitraire le fait litigieux, le recourant ne démontrant au demeurant pas que cette constatation aurait conduit à un résultat arbitraire, ce conformément aux exigences rappelées ci-dessus.
2.3. Le recourant conteste que ses rapports avec sa fille, née en 2006, aient été constamment problématiques. Il présente une argumentation purement appellatoire, invoquant des éléments dont il n'expose pas quelle pièce du dossier les établirait et n'indiquant au surplus pas en quoi le fait constaté aurait conduit à un résultat arbitraire. L'autorité précédente a au demeurant tenu compte des éléments résultant du jugement du 9 mai 2016 cités par le recourant.
2.4. Pour le surplus, le recourant se borne à présenter sa propre version des faits, sans démontrer ni quelle preuve au dossier l'établirait, ni en quoi sa version devrait sous peine d'arbitraire s'imposer sur celle de l'autorité cantonale. Appellatoire, cette argumentation est irrecevable.
3.
Le recourant invoque que l'autorité précédente aurait violé l'<ref-law> en posant un pronostic défavorable conduisant au refus de la libération conditionnelle.
3.1. Aux termes de l'<ref-law>, l'autorité compétente libère conditionnellement le détenu qui a subi les deux tiers de sa peine, mais au moins trois mois de détention, si son comportement durant l'exécution de la peine ne s'y oppose pas et s'il n'y a pas lieu de craindre qu'il ne commette de nouveaux crimes ou de nouveaux délits.
La libération conditionnelle constitue la dernière étape de l'exécution de la sanction pénale. Elle est la règle et son refus l'exception, dans la mesure où il n'est plus exigé qu'il soit à prévoir que le condamné se conduira bien en liberté (cf. art. 38 ch. 1 al. 1 aCP), mais seulement qu'il ne soit pas à craindre qu'il commette de nouveaux crimes ou délits. Autrement dit, il n'est plus nécessaire pour l'octroi de la libération conditionnelle qu'un pronostic favorable puisse être posé. Il suffit que le pronostic ne soit pas défavorable (<ref-ruling> consid. 2.2 p. 203 s.).
Le pronostic à émettre doit être posé sur la base d'une appréciation globale, prenant en considération les antécédents de l'intéressé, sa personnalité, son comportement en général et dans le cadre des délits qui sont à l'origine de sa condamnation, le degré de son éventuel amendement ainsi que les conditions dans lesquelles il est à prévoir qu'il vivra (<ref-ruling> consid. 2.3 p. 203 s. et les arrêts cités). La nature des délits commis par l'intéressé n'est, en tant que telle, pas à prendre en compte, en ce sens que la libération conditionnelle ne doit pas être exclue ou rendue plus difficile pour certains types d'infractions. Toutefois, les circonstances dans lesquelles l'auteur a encouru la sanction pénale sont également pertinentes dans la mesure où elles sont révélatrices de sa personnalité et donnent ainsi certaines indications sur son comportement probable en liberté. Au demeurant, pour déterminer si l'on peut courir le risque de récidive, inhérent à toute libération qu'elle soit conditionnelle ou définitive, il faut non seulement prendre en considération le degré de probabilité qu'une nouvelle infraction soit commise mais également l'importance du bien qui serait alors menacé. Ainsi, le risque de récidive que l'on peut admettre est moindre si l'auteur s'en est pris à la vie ou à l'intégrité corporelle de ses victimes que s'il a commis par exemple des infractions contre le patrimoine (<ref-ruling> consid. 2a p. 115 s.). Il résulte de ce qui précède qu'il ne suffit pas que le comportement adopté par le condamné pendant sa détention ne s'oppose pas à son élargissement (<ref-ruling> consid. 1a p. 7).
Dans l'émission du pronostic, l'autorité compétente dispose d'un large pouvoir d'appréciation. Le Tribunal fédéral n'intervient que si elle en a abusé, notamment lorsqu'elle a omis de tenir compte de critères pertinents et s'est fondée exclusivement sur les antécédents du condamné (<ref-ruling> consid. 2.3 p. 204).
3.2. Afin de poser le pronostic visé par l'<ref-law>, l'autorité précédente a tenu compte du comportement du recourant durant l'exécution de la peine, qualifié de satisfaisant par le PES réactualisé du 19 février 2016, malgré les cinq sanctions disciplinaires prononcées dont la dernière en février 2016 pour rentrée tardive de permission et dissimulation de berlingots de vin à l'extérieur de l'établissement pénitentiaire. Elle a toutefois retenu que le recourant n'avait pas encore réussi à passer l'étape précédant la libération conditionnelle, soit le travail externe; qu'il avait été condamné pour trafic de drogue sur plusieurs années, activité qu'il attribuait uniquement à des facteurs extérieurs, soit la situation de crise au sein de son couple et des problèmes financiers; que les problèmes prétendus n'étaient toutefois survenus que bien après qu'il avait commencé son activité criminelle; que la situation s'était depuis considérablement détériorée, dès lors qu'il est divorcé depuis le 6 octobre 2015, que la relation avec sa fille a été constamment problématique et que le droit de visite du recourant est actuellement fixé à une heure et demie une fois par mois; que son parcours professionnel est chaotique, puisque bien qu'ayant pu obtenir un diplôme de soudeur en Suisse, il a été licencié de son poste en raison de fréquentes absences injustifiées, a échoué le programme d'occupation et a fini par émarger à l'aide sociale; que durant son incarcération, il a dû régulièrement être recadré s'agissant des horaires et s'est souvent fait remarquer comme étant lent, au point de susciter des commentaires quant à la difficulté qu'il aura de trouver et de conserver un engagement; que de telles appréciations sont toujours d'actualité puisque malgré plusieurs incitations et les démarches prétendument entreprises, le recourant n'a pu accéder à la phase du travail externe, faute d'avoir été en mesure de présenter un contrat de travail valable; que dès lors en cas de remise en liberté immédiate ses moyens d'existence seraient fort précaires, ce qui l'exposerait à verser à nouveau dans des activités délictueuses; qu'en outre son statut de séjour en Suisse est bancal, étant donné qu'une décision de révocation de son autorisation d'établissement et de renvoi a été prononcée en 2013, décision faisant toujours l'objet d'un recours devant le Conseil d'Etat; qu'enfin au plan personnel, le recourant n'a aucun membre de sa famille en Suisse - à l'exception de sa fille mineure -, n'a jamais reçu de visite d'ami ou de famille et son ex-épouse a déclaré ne plus vouloir le revoir. En conséquence, au vu d'une appréciation globale des chances de réinsertion sociale du recourant, l'autorité précédente a jugé que le pronostic était clairement défavorable, non contrebalancé par son comportement en détention. Au vu d'un tel pronostic, une libération conditionnelle n'était de plus pas propre à favoriser mieux la resocialisation du recourant que l'exécution complète de sa peine, la seule crainte de devoir encore exécuter quelque quatre mois d'incarcération en cas de récidive paraissant insuffisant pour le détourner de la commission de nouvelles infractions.
3.3. Dans la mesure où le recourant fonde son argumentation sur des faits qui ne résultent pas de l'ordonnance attaquée, sans démontrer quelle preuve les établirait et en quoi ils auraient été omis de manière arbitraire, son grief de violation de l'<ref-law> est irrecevable. Il en va en particulier du fait qu'il aurait évolué de manière très positive, que sa situation personnelle se serait considérablement améliorée, qu'il aurait des projets précis et concrets de vie de famille et de travail et qu'il se serait d'ores et déjà constitué un logement.
Le recourant assène à la fin de son recours, sans plus de détail, que même en se fondant sur les faits établis dans l'ordonnance attaquée, l'autorité précédente ne devait pas poser de pronostic défavorable. Il ressort toutefois du raisonnement de la cour cantonale, tel que repris ci-dessus, que celle-ci s'est fondée sur des critères pertinents pour poser le pronostic défavorable critiqué. Elle a en particulier jugé, conformément à la jurisprudence précitée, que le comportement du recourant en détention ne suffisait pas pour retenir un pronostic non défavorable. On ne décèle au surplus dans le raisonnement de l'autorité précédente ni abus ni excès du pouvoir d'appréciation qui lui était accordé par la loi. Le grief de violation de l'<ref-law> ne peut dans ces conditions qu'être rejeté.
4.
Le recours doit être rejeté dans la mesure de sa faible recevabilité. Les conclusions étaient dénuées de chance de succès, de sorte que la demande d'assistance judiciaire doit être rejetée (<ref-law> a contrario). Le recourant supportera les frais de justice dont la quotité tiendra compte de sa situation financière difficile (art. 65 al. 2 et art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1600 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 8 juillet 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod