Faits : A. Par jugement du 17 août 2010, le Juge des districts de Martigny et St-Maurice a condamné X._ pour contravention à la loi fédérale sur les stupéfiants (art. 19a LStup) et violation de l'art. 33 al. 1 let. a LArm à une peine pécuniaire de 15 jours-amende, à 100 fr. le jour, et à une amende de 500 fr., sous déduction de la détention avant jugement subie depuis le 30 décembre 2009. Il l'a exempté de toute peine pour les faits en relation avec la violation des art. 123 al. 1 et 180 al. 1 CP (lésions corporelles simples et menaces) et a ordonné un traitement institutionnel dans un établissement psychiatrique ou pénitentiaire fermé ou dans la section fermée d'un établissement pénitentiaire ouvert (art. 59 al. 3 CP). Durant l'enquête, une expertise psychiatrique avait été ordonnée. Dans leur rapport du 14 avril 2010, les experts ont posé le diagnostic de schizophrénie paranoïde et préconisé une mesure institutionnelle au sens de l'art. 59 CP, réalisée en milieu fermé et accompagnée d'un traitement psychiatrique avec un accent particulier sur la médication neuroleptique. X._ est demeuré à la Prison des Iles jusqu'au 3 mars 2011. A cette date, il a été transféré aux Etablissements de la Plaine de l'Orbe (EPO) où il a séjourné jusqu'au 18 mars 2013. B. Par arrêt 6B_445/2013 - 6B_507/2013 du 14 janvier 2014 (ci-après l'arrêt de renvoi), le Tribunal fédéral a partiellement admis le recours formé par X._ contre une ordonnance du 23 avril 2013 de la Chambre pénale du Tribunal cantonal valaisan. Il a annulé cette décision et a renvoyé la cause à cette autorité pour nouvelle décision. Auprès du Tribunal fédéral, X._ s'était plaint que l'autorité cantonale n'ait pas statué sur ses conclusions d'une part en complément de l'instruction sur la légalité des conditions de sa détention entre le 17 septembre 2010 et le 18 mars 2013, d'autre part en constat d'une violation du principe de célérité. Il dénonçait une violation des art. 5 par. 1 let. e et par. 4 CEDH et 111 al. 3 LTF. S'agissant de la violation alléguée de l'art. 5 par. 1 let. e CEDH, le Tribunal fédéral a estimé que les autorités précédentes - à savoir le Tribunal de l'application des peines et mesures du canton du Valais (TAPEM) et la Chambre pénale du Tribunal cantonal valaisan - étaient compétentes pour l'examiner et, cas échéant, pour la constater (consid. 4.2), ce qu'elles n'avaient pas fait. Au vu des circonstances d'espèces, le Tribunal fédéral a jugé qu'en n'entrant pas en matière sur le grief de violation de l'art. 5 par. 1 let. e CEDH invoqué par X._, la Chambre pénale du Tribunal cantonal valaisan l'avait privé de la possibilité de faire valoir ce moyen devant le Tribunal fédéral et avait violé l'art. 111 al. 3 LTF. En empêchant le recourant de faire examiner l'illicéité alléguée, l'ordonnance du 23 avril 2013 avait en outre violé l'art. 5 par. 4 CEDH. Le Tribunal fédéral a dès lors renvoyé la cause à l'autorité cantonale pour qu'elle entre en matière sur le grief de violation de l'art. 5. par. 1 let. e CEDH. Si cette autorité aboutissait à la conclusion que la détention subie était illégale, il lui appartiendrait soit de se prononcer elle-même sur l'indemnisation requise, soit de transmettre la cause à l'autorité cantonale compétente en matière de responsabilité de l'Etat (consid. 4.4). C. A la suite de l'arrêt de renvoi, la Chambre pénale du Tribunal cantonal valaisan a rejeté le recours formé par X._ par ordonnance du 23 juin 2014. Elle a modifié l'ordonnance du 23 avril 2013 en ce sens que X._ était mis au bénéfice de l'assistance judiciaire totale pour la procédure de recours. En substance, elle a considéré, après complément d'instruction, que la détention de X._ à la Prison des Iles puis aux EPO ne violait ni l'art. 5 par. 1 let. e CEDH, ni l'art. 3 CEDH. D. X._ forme un recours en matière pénale contre l'ordonnance du 23 juin 2014. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est constaté une violation des art. 3 et 5 par. 1 lit. e CEDH et qu'une indemnité au sens de l'art. 5 par. 5 CEDH lui est accordée à hauteur de 100 fr. par jour du 29 décembre 2009 au 18 mars 2013, avec intérêts dès le 17 septembre 2010, à charge de l'Etat du Valais. Il requiert subsidiairement le renvoi de la cause à la juridiction cantonale compétente quant à cette indemnité. Il sollicite le bénéfice de l'assistance judiciaire.