Faits : A. Par jugement du 3 juin 2013, le Tribunal du IIe arrondissement pour le district de Sion a condamné X._ à une peine privative de liberté de 54 mois pour violation grave de la LStup, à raison de faits survenus de décembre 2004 à août 2005 et de janvier 2009 à mars 2012. X._ a purgé les 2/3 de cette peine le 13 mars 2015. Le terme est fixé au 13 septembre 2016. B. Par décision du 8 mars 2016, le Tribunal d'application des peines et mesures (ci-après TAPEM) a refusé d'accorder la libération conditionnelle à X._. C. Par ordonnance du 17 mai 2016, la Chambre pénale du Tribunal cantonal du canton du Valais a rejeté le recours formé contre cette décision par X._. D. Ce dernier forme un recours en matière pénale auprès du Tribunal fédéral contre cette ordonnance. Il conclut, avec suite de frais et dépens, à sa libération immédiate, subsidiairement à sa libération conditionnelle immédiate, plus subsidiairement à l'annulation de l'ordonnance et au renvoi de la cause à l'autorité cantonale pour nouvelle décision. II sollicite le bénéfice de l'assistance judiciaire.