Faits:
A.
Par jugement du 11 mai 2012, le Tribunal régional du Jura-bernois-Seeland a reconnu X._ coupable d'assassinat, de viol qualifié, de tentative de viol qualifié ainsi que de brigandage qualifié au préjudice de trois femmes. Il l'a condamné à la peine privative de liberté à vie et à l'internement à vie, l'exécution de la peine précédant l'internement. Il l'a également astreint à verser aux victimes et proches des victimes des indemnités pour dommage matériel et tort moral.
B.
X._ et plusieurs parties plaignantes ont fait appel de cette décision. Par jugement du 19 septembre 2013, la 2ème Chambre pénale de la Section pénale de la Cour suprême du canton de Berne a reconnu X._ coupable d'assassinat, de viol qualifié, de tentative de viol qualifié, de brigandage qualifié au préjudice de deux femmes et de brigandage simple à l'encontre d'une troisième femme. Elle l'a condamné à une peine privative de liberté de vingt ans et à l'internement à vie, l'exécution de la peine précédant l'internement. Elle a également statué sur les prétentions civiles des parties plaignantes.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, à l'annulation du dispositif du jugement du 19 septembre 2013 en tant qu'il prononce l'internement à vie, au constat de l'incompatibilité d'un telle mesure avec les art. 3 et 5 CEDH, au constat que le recourant était en état de responsabilité restreinte au moment des actes commis à l'encontre de A._ et à la réduction de la peine privative de liberté ordonnée. Subsidiairement, il sollicite l'annulation du dispositif du jugement du 19 septembre 2013 en tant qu'il prononce l'internement à vie et une peine privative de liberté de vingt ans, les constats de l'incompatibilité d'un telle mesure avec les art. 3 et 5 CEDH et d'un état de responsabilité restreinte au moment des actes commis à l'encontre de A._ et le renvoi de la cause à l'autorité précédente pour nouvelle décision sur la peine et pour qu'elle examine si une mesure autre que l'internement à vie peut être ordonnée. Il sollicite l'assistance judiciaire.
L'autorité précédente et le ministère public ont renoncé à se déterminer.

Considérant en droit:
1.
Le recourant ne conteste plus les infractions dont il a été reconnu coupable. Il s'en prend uniquement à la peine et à la mesure ordonnées.
2.
A l'encontre de la peine privative de liberté de vingt ans prononcée en appel, le recourant soutient avoir été sous l'emprise de l'alcool dans les heures qui ont précédé et suivi l'assassinat de A._. Il aurait ainsi été en état de responsabilité restreinte au sens de l'<ref-law> au moment de ce crime. Aucune actio libera in causa (<ref-law>) ne pourrait lui être opposée. Conformément à l'<ref-law>, sa peine aurait par conséquent dû être réduite.
2.1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>) à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313; sur la notion d'arbitraire, v. <ref-ruling> consid. 2.1 p. 18). Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.2 p. 232 et arrêts cités). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 10.1 p. 445).
2.2. Le jugement attaqué ne retient pas en fait que le recourant ait été en état d'ébriété, qui plus est avancé, au moment de l'assassinat de A._, le dimanche 10 octobre 2010 entre 4h00-5h50 et 6h50 à Bienne. Le recourant n'allègue pas que ce fait aurait été omis par l'autorité précédente de manière arbitraire. Son grief de violation de l'<ref-law>, reposant sur un tel fait, est par conséquent irrecevable.
Au demeurant, le recourant invoque à l'appui du prétendu état d'ébriété avancé ses déclarations au ministère public, ainsi que celles de deux témoins. Ses déclarations - indiquant qu'il aurait bu avant l'heure du crime - ne sont pas à elles seules suffisantes à démontrer l'arbitraire de l'omission du fait invoqué. Lors de son audition, le témoin B._ ne se rappelait plus si le recourant avait dormi dans sa chambre, au centre de Crissier, la nuit du 9 au 10 octobre ou celle du 10 au 11 octobre (pièce 2381). A suivre le recourant, il ne peut s'agir de la nuit du 9 au 10 dès lors qu'il prétend lui-même avoir passé cette nuit dans des bars (pièce 2379). L'état du recourant durant la nuit du 10 au 11 octobre ne dit quant à lui rien de son état durant les premières heures du 10 octobre. L'amie intime du recourant, C._, a quant elle déclaré que lorsqu'elle l'a rencontré, le 10 octobre 2010, il était soûl. Leur rencontre a toutefois eu lieu à midi, au moins cinq heures après les faits, et alors que le recourant buvait (pièce 360, ligne 26). En outre, ce témoin a ajouté qu'elle n'avait pas remarqué que le recourant ait été soûl lorsqu'il l'avait appelée plus tôt le dimanche matin pour lui fixer rendez-vous (pièce 360 ligne 31). Ce témoignage n'impose dès lors pas, sous peine d'arbitraire, de retenir que le recourant était soûl au moment du meurtre. Le soin avec lequel le recourant a choisi des objets chez sa victime (cf. jugement attaqué, p. 45) parle également à l'encontre de cette thèse. Dans ces circonstances, l'autorité précédente n'a pas fait preuve d'arbitraire en ne retenant pas que le recourant se trouvait en état d'ébriété au moment du crime. La responsabilité restreinte et la violation de l'<ref-law> que le recourant tente de tirer d'un tel fait afin d'obtenir une diminution de la peine prononcée doivent par conséquent être écartées.
3.
Le recourant invoque que la peine prononcée serait insuffisamment motivée, en violation de l'<ref-law>. Il estime également que certains facteurs d'atténuation n'auraient pas été pris en compte, en violation de l'<ref-law>.
3.1. Les principes découlant de ces dispositions ont été rappelés par la jurisprudence (<ref-ruling> consid. 5.4 p. 59 ss; arrêt 6B_284/2012 du 29 octobre 2012 consid. 4.1 et références citées). On peut y renvoyer.
3.2. La lecture de l'entier du titre V traitant de la peine (jugement attaqué, p. 43 à 50) permet de constater que l'autorité cantonale a consciencieusement examiné, pour chaque infraction reprochée au recourant, l'importance de sa faute. Elle a ensuite écarté une éventuelle responsabilité restreinte découlant des troubles mentaux dont souffre le recourant et détaillé chaque facteur d'atténuation et d'aggravation. Au vu de ces éléments, elle a fixé une peine de base pour l'assassinat de dix-huit ans, peine qu'elle a alourdie, toujours en l'explicitant, pour chaque autre infraction commise. Sa motivation est complète, claire et conforme aux exigences posées par la jurisprudence. Le grief de violation de l'<ref-law> est infondé.
3.3. Au vu des six condamnations antérieures à la présente procédure, il est incontestable que le recourant est un multirécidiviste, ce qui pouvait être retenu à sa charge. Le recourant soutient n'avoir jamais été violent auparavant. Ce fait, qui ne résulte pas du jugement attaqué, ne constitue pas, à l'instar de l'absence totale d'antécédent, une circonstance atténuante (<ref-ruling>).
Le recourant affirme que l'autorité précédente, bien qu'ayant indiqué avoir pris en considération certains facteurs d'atténuation, n'en aurait en réalité pas réellement tenu compte. Sans plus de motivation, un tel grief est irrecevable (<ref-law>). Au demeurant, la quotité de la peine privative de liberté de vingt ans, au vu des actes commis, de la lourde faute du recourant, de ses antécédents et malgré plusieurs facteurs d'atténuation, ne procède ni d'un abus ni d'un excès du large pouvoir d'appréciation conféré au juge par l'<ref-law>. Le grief est infondé, dans la mesure où il est recevable.
4.
Le recourant conteste le prononcé d'internement à vie.
4.1. En vertu de l'<ref-law>, le juge ordonne l'internement à vie si l'auteur a commis un assassinat, un meurtre, une lésion corporelle grave, un viol, un brigandage, une contrainte sexuelle, une séquestration, un enlèvement ou une prise d'otage, s'il s'est livré à la traite d'êtres humains, a participé à un génocide ou a commis un crime contre l'humanité ou un crime de guerre et que les conditions suivantes sont remplies: (a) en commettant le crime, l'auteur a porté ou voulu porter une atteinte particulièrement grave à l'intégrité physique, psychique ou sexuelle d'autrui; (b) il est hautement probable que l'auteur commette à nouveau un de ces crimes et (c) l'auteur est qualifié de durablement non amendable, dans la mesure où la thérapie semble, à longue échéance, vouée à l'échec.
Si l'internement à vie au sens de l'<ref-law> est envisagé, le juge prend sa décision en se fondant sur les expertises réalisées par au moins deux experts indépendants l'un de l'autre et expérimentés qui n'ont pas traité l'auteur ni ne s'en sont occupés d'une quelconque manière (<ref-law>).
4.2. Le recourant s'en prend à la réalisation de la condition posée par l'art. 64 al. 1bis let. c CP.
4.2.1. Le Tribunal fédéral s'est récemment penché sur la notion d'auteur durablement non amendable visée par cette disposition. Au terme d'une interprétation littérale, historique, systématique et téléologique, chaque interprétation conduisant au même résultat, le Tribunal fédéral a jugé que par "durablement amendable" ("dauerhaft nicht therapierbar") au sens de l'art. 64 al. 1bis let. c CP, il fallait entendre un état lié à la personne de l'auteur, non modifiable à vie. Ainsi, seul celui qui est véritablement inaccessible à un traitement sa vie durant peut être interné à vie (<ref-ruling> consid. 3 p. 5 ss). La formulation «durablement non amendable» est de plus censée mettre l'accent sur le fait que seuls sont déterminants les critères structurels, étroitement et durablement liés à la personnalité de l'auteur, et non les critères qui peuvent varier, tels que le manque de motivation de l'auteur, le fait de ne pas reconnaître rationnellement son acte, les symptômes qui pourraient être influencés au moyen de médicaments ou le fait que l'on ne dispose pas d'une institution adaptée pour ce genre de traitement (Message relatif à la modification du code pénal dans sa version du 13 décembre 2002 [Mise en oeuvre de l'art. 123a Cst.]; FF 2006 869, ch. 2.2.4; <ref-ruling> consid. 3.2.2, p. 6 s.).
4.2.2. Selon le jugement attaqué, p. 57 s., il ressort des expertises des Drs D._ et E._ que le recourant est atteint d'un trouble psychique, soit d'une personnalité dyssociale (psychopathie), ce trouble le rendant extrêmement dangereux. Les experts ont indiqué qu'il n'existait pas à l'heure actuelle de traitement capable de réduire la dangerosité du recourant. Le Dr E._ a ajouté à l'audience de débat qu'un trouble de la personnalité se modifie très difficilement et que "s'il y a une volonté ferme de modifier son comportement ou sa manière de réagir aux évènements, il y a peut-être une chance d'y parvenir. Chez les personnes dyssociales, il est rare de voir cette volonté de modifier quoi que ce soit. Même si cette volonté était avérée, les chances de succès seraient limitées". Le Dr D._ a mentionné une étude clinique moins pessimiste. Il a toutefois relevé qu'il ne voyait pas chez le recourant des éléments qui feraient de lui une exception à la règle voulant qu'il soit extraordinairement difficile d'obtenir des changements thérapeutiques favorables et significatifs chez les psychopathes et que "les changements qui devraient intervenir chez lui pour qu'on puisse émettre un pronostic qui ne soit pas très défavorable au plan de l'accessibilité au traitement sont si importants qu'ils paraissent extrêmement improbables". Il a ensuite indiqué qu'au vu du comportement récalcitrant du recourant, on pouvait admettre qu'il ne se soumettrait pas à un traitement et qu'un traitement ordonné contre sa volonté n'aurait aucune chance d'être mis en oeuvre. Suivant les conclusions des experts, l'autorité précédente a relevé que la différence culturelle du recourant rendait encore plus difficile un traitement, traitement que de toute façon le recourant ne désirait pas. Elle a conclu que le recourant était durablement non amendable et que la thérapie semblait, aux dires d'expert, vouée à l'échec.
4.2.3. Il résulte de ce qui précède, mais également de la lecture des expertises, qu'aucun des experts n'a conclu - et la question ne leur avait par ailleurs pas été posée précisément - que le recourant serait, pour des raisons structurelles étroitement et durablement liées à sa personnalité, véritablement inaccessible à un traitement sa vie durant. Les experts n'indiquent en particulier pas l'échéance de leur pronostic et on ne peut sans autre élément partir de l'idée que celui-ci aurait été émis pour la vie entière du recourant, âgé de 34 ans. Dans ces conditions, le recours doit être admis, le jugement attaqué annulé en ce qu'il rejette l'appel du recourant à l'encontre du prononcé d'internement à vie et la cause renvoyée à l'autorité précédente pour nouvelle instruction et nouvelle décision sur ce point.
L'admission du grief précédent et l'annulation du jugement attaqué rendent sans objet les autres moyens soulevés par le recourant à l'encontre du prononcé d'internement à vie. Cela vaut notamment pour la violation invoquée de l'<ref-law>, le recourant soutenant que le Dr E._ ne l'aurait pas informé de son droit de se taire. Un tel grief pourrait être contraire au principe de la bonne foi dès lors qu'il ne paraît pas avoir été soulevé en instance cantonale. Quoi qu'il en soit, l'autorité veillera au respect de l'<ref-law> dans le cadre du renvoi.
5.
Le recours doit être partiellement admis. Pour le surplus, il est rejeté dans la mesure où il est recevable.
La requête d'assistance judiciaire formulée par le recourant est sans objet dans la mesure où il obtient gain de cause et peut, à ce titre, prétendre à des dépens réduits de la part du canton (art. 64 al. 2 et 68 al. 1 LTF). Le recours était, pour le surplus, dénué de chance de succès, si bien que l'assistance judiciaire doit être refusée dans cette mesure (<ref-law>). Une partie des frais sera ainsi supportée par le recourant (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est admis partiellement, le jugement attaqué est annulé et la cause est renvoyée à la cour cantonale pour nouvelle décision. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire du recourant est rejetée, dans la mesure où elle n'est pas sans objet.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le canton de Berne versera au conseil du recourant une indemnité de 1'500 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties et à la Cour suprême du canton de Berne, Section pénale, 2 ème Chambre pénale.
Lausanne, le 3 juin 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod