Faits : A. Par jugement du 4 juillet 2013, le Tribunal du IIe arrondissement pour le district de Sierre a reconnu X._ coupable de viols avec cruauté, de tentative de viol, de contraintes sexuelles avec cruauté, de tentative de contrainte sexuelle avec cruauté, de séquestration et de voies de fait contre deux femmes. Il l'a condamné à une peine privative de liberté de six ans, sous déduction de la détention préventive subie à compter du 6 mai 2011, et à une amende de 200 fr., la peine de substitution étant fixée à cinq jours. Il a révoqué le sursis partiel de sept mois accordé à la peine privative de liberté de treize mois prononcée le 22 mars 2010. Il a imposé une mesure thérapeutique institutionnelle pour le traitement des troubles mentaux dans un établissement fermé ou un établissement pénitentiaire. Enfin, il a prononcé le séquestre définitif de la créance de X._ envers l'Etat de Genève, liée à la détention injustifiée subie dans ce canton, à concurrence de 69'600 fr. et a dévolu ce montant à l'Etat du Valais et aux deux victimes de X._. Le Tribunal du IIe arrondissement a pour le surplus rejeté les requêtes des victimes tendant au séquestre définitif, voire à la confiscation, de cette créance en vue de la couverture de leurs autres prétentions civiles. B. Par jugement du 26 novembre 2013, la Cour pénale II du Tribunal cantonal du canton du Valais a rejeté l'appel formé par X._. Elle a néanmoins réformé partiellement le jugement de première instance, en ce sens qu'elle a déduit de la peine privative de six ans - confirmée - la détention subie à Genève du 8 décembre 2008 au 10 décembre 2010 et qu'elle n'a pas prononcé de décision de séquestre comme l'avait fait l'autorité de première instance. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 26 novembre 2013. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens que la mesure thérapeutique institutionnelle ordonnée s'effectuera en milieu ouvert et non fermé. Subsidiairement, il requiert l'annulation du jugement sur ce point et le renvoi de la cause à l'autorité précédente pour nouveau jugement, après audition de A._ et, le cas échéant, nouvelle expertise. Plus subsidiairement, il sollicite l'annulation du jugement du 26 novembre 2013 en tant qu'il déduit de la peine à effectuer la détention subie à Genève de 2008 à 2010 et requiert qu'il soit dit qu'il conserve ses droits sur une indemnité pour dite détention et que le séquestre a été levé. Il demande le bénéfice de l'assistance judiciaire.