Faits :
A.
A.a. Par jugement du 11 mai 2012, le Tribunal régional du Jura-bernois-Seeland a reconnu X._ coupable d'assassinat, de viol qualifié, de tentative de viol qualifié ainsi que de brigandage qualifié au préjudice de trois femmes. Il l'a condamné à la peine privative de liberté à vie et à l'internement à vie, l'exécution de la peine précédant l'internement.
A.b. Par jugement du 19 septembre 2013, la 2ème Chambre pénale de la Cour suprême du canton de Berne a reconnu X._ coupable d'assassinat, de viol qualifié, de tentative de viol qualifié, de brigandage qualifié au préjudice de deux femmes et de brigandage simple à l'encontre d'une troisième femme. Elle l'a condamné à une peine privative de liberté de vingt ans et à l'internement à vie, l'exécution de la peine précédant l'internement.
A.c. Par arrêt 6B_13/2014 du 3 juin 2014, le Tribunal fédéral a partiellement admis le recours en matière pénale formé par X._, annulé le jugement du 19 septembre 2013 en ce qu'il rejette l'appel de X._ à l'encontre du prononcé d'internement à vie et renvoyé la cause à l'autorité précédente pour nouvelle instruction et nouvelle décision sur ce point.
B.
Par jugement du 24 juin 2016, la 2ème Chambre pénale de la Cour suprême du canton de Berne a confirmé les prononcés de culpabilité contenus dans le jugement du 19 septembre 2013. Elle a ordonné une peine privative de liberté de vingt ans ainsi que l'internement, l'exécution de la peine précédant celui-ci.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 24 juin 2016. Il conclut à son annulation en tant qu'il ordonne l'internement simple (<ref-law>) et au prononcé d'une mesure thérapeutique institutionnelle en milieu fermé au sens de l'<ref-law>, subsidiairement au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite l'assistance judiciaire.

Considérant en droit :
1.
Le recourant estime qu'il aurait dû être soumis non à un internement au sens de l'<ref-law>, mais à une mesure thérapeutique institutionnelle au sens de l'<ref-law>. Il soutient que les conditions pour prononcer cette dernière mesure étaient réunies et que celle-ci aurait donc dû être ordonnée conformément au principe de subsidiarité prévu par l'<ref-law> et au principe de proportionnalité, en lieu et place de l'internement. Il invoque une violation de l'<ref-law> en lien avec l'<ref-law>.
1.1.
1.1.1. En présence d'un trouble psychiatrique, l'internement au sens de l'<ref-law> constitue, conformément au principe de proportionnalité consacré par l'<ref-law> et au principe de subsidiarité posé par l'<ref-law>, une mesure subsidiaire aux mesures institutionnelles prévues par l'<ref-law>. En tant qu' ultima ratio, en raison de la gravité de l'atteinte à la liberté personnelle qu'il représente, l'internement n'entre ainsi pas en considération tant qu'une mesure institutionnelle apparaît utile. Pour un auteur souffrant d'un trouble mental, il y a donc lieu d'examiner au préalable si une mesure institutionnelle au sens de l'<ref-law>, exécutée au besoin dans un cadre offrant une sécurité accrue tel que prévu par l'<ref-law>, apparaît susceptible de le détourner de nouvelles infractions en rapport avec son trouble. Ce n'est que lorsque la mesure institutionnelle semble dénuée de chances de succès que l'internement peut être ordonné, s'il est nécessaire. Cette démarche doit permettre d'éviter qu'un auteur soit déclaré a priori « incurable » et interné dans un établissement d'exécution des peines (cf. <ref-ruling> consid. 3.2 p. 320; également <ref-ruling> consid. 3.2.4 p. 9).
1.1.2. Aux termes de l'<ref-law>, lorsque l'auteur souffre d'un grave trouble mental, le juge peut ordonner un traitement institutionnel si l'auteur a commis un crime ou un délit en relation avec ce trouble (al. 1 let. a) et s'il est à prévoir que cette mesure le détournera de nouvelles infractions en relation avec ce trouble (al. 1 let. b). Le traitement institutionnel s'effectue dans un établissement psychiatrique approprié ou dans un établissement d'exécution des mesures (al. 2). Il est exécuté dans un établissement fermé tant qu'il y a lieu de craindre que l'auteur ne s'enfuie ou ne commette de nouvelles infractions. Il peut aussi être effectué dans un établissement pénitentiaire au sens de l'<ref-law> dans la mesure où le traitement thérapeutique nécessaire est assuré par du personnel qualifié (al. 3).
Selon la jurisprudence, la condition posée par l'<ref-law> qu'il soit à prévoir que la mesure détournera l'intéressé de nouvelles infractions en relation avec son trouble est réalisée lorsque, au moment de la décision, il est suffisamment vraisemblable qu'un traitement institutionnel entraînera dans les cinq ans de sa durée normale une réduction nette du risque de récidive (<ref-ruling> consid. 3.2.4 p. 9; <ref-ruling> consid. 3.4.1 p. 321 s.). L'exigence d'un tel pronostic ne signifie pas qu'un condamné souffrant de trouble mental ne pourra pas recevoir l'assistance nécessaire, mais seulement que la mesure préconisée par l'<ref-law> n'est pas adéquate, tout au moins dans l'état des choses, au moment où la décision est rendue. La personne soumise à l'internement peut du reste bénéficier d'un traitement psychiatrique (<ref-law>). Plus généralement, même si elles ne visent pas prioritairement l'amélioration du pronostic, respectivement si elles ne sont pas aptes à l'améliorer nettement à cinq ans de vue, des possibilités thérapeutiques doivent être offertes, tout au moins dans la perspective, même éloignée, de la fin de l'internement (arrêt 6B_1307/2015 du 9 décembre 2016 consid. 4.1.3).
1.1.3. En matière de pronostic, le principe " in dubio pro reo " ne s'applique pas (<ref-ruling> consid. 2a p. 5; plus récemment arrêt 6B_986/2015 du 23 août 2016 consid. 3.2).
1.2. Le recourant, après avoir inutilement cité des pans entiers du jugement attaqué, mélange continuellement les griefs d'arbitraire et de violation de la présomption d'innocence dans l'appréciation des preuves et la constatation des faits avec celui de violation de l'<ref-law>. S'agissant des griefs d'arbitraire et de violation de la présomption d'innocence, on comprend que le recourant reproche à l'autorité précédente d'avoir mal apprécié l'expertise du Dr A._ et d'avoir omis de retenir que son trouble et le risque de récidive avaient diminué et qu'il voulait se soigner.
1.2.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Il y a arbitraire dans l'établissement des faits ou l'appréciation des preuves si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 6 p. 358).
Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368).
1.2.2. Le recourant reproche à l'autorité précédente de s'être distancée de l'expertise complémentaire du Dr A._ en ne retenant pas les " perspectives thérapeutiques esquissées " (recours, p. 12) et que cette expertise démontrait qu' "une prise en charge thérapeutique du recourant aurait des chances de succès " (recours, p. 14, également p. 12). L'expert A._ estimant que le recourant était capable d'évoluer et qu'il n'était pas inaccessible à un traitement, l'autorité précédente aurait dû retenir l'existence de chances de succès d'une thérapie, ce qui exclurait le prononcé d'un internement.
Le recourant fait une lecture erronée de l'expertise du Dr A._, selon lui plus favorable que l'expertise de l'autre expert-psychiatre, le Dr B._. A la suite de l'arrêt de renvoi 6B_13/2014 qui annulait le jugement du 19 septembre 2013 en ce qu'il prononçait l'internement à vie, le Dr A._ a été réinterpellé par l'autorité précédente afin de déterminer si le recourant était pour sa vie durant inaccessible à un traitement. Le Dr A._ a répondu qu'on ne pouvait affirmer que le recourant était inaccessible à tout traitement (rapport complémentaire du 23 juin 2015, p. 6) et tranché par conséquent par la négative la question qui lui avait été posée. Cela excluait le prononcé d'un internement à vie au sens de l'<ref-law>. Cela n'imposait par contre pas d'en déduire qu'au moment de la décision attaquée un traitement institutionnel pouvait entraîner, dans les cinq ans, une réduction nette du risque de récidive. L'accessibilité un jour peut-être à un traitement ne signifie en effet pas qu'un traitement ordonné aujourd'hui aurait vraisemblablement dans les cinq ans à venir des chances de succès.
Sur ce point, le Dr A._ a par ailleurs constaté dans son rapport complémentaire qu'un traitement psychiatrique ou psychothérapeutique, que ne désirait par le recourant, n'était pas forcément approprié et qu'il était inutile de l'imposer (rapport complémentaire du 23 juin 2015, p. 6). Lors de son audition, le 23 juin 2016, il a déclaré au sujet du recourant qu'il ne voyait pas ce que son confrère psychiatre pourrait faire face à quelqu'un qui ne souhaite pas de traitement psychiatrique, qu'imposer un traitement ne serait pas possible et que tant que le recourant ne le voulait pas, il ne voyait pas d'utilité à imposer un traitement. Il a de plus indiqué qu'il n'existait pour l'heure pas d'accessibilité, mais qu'elle pourrait un jour se présenter. Il a enfin attesté qu'il n'existait pas actuellement de traitement pour les personnes dyssociales, diagnostic toujours posé pour le recourant (procès-verbal d'audition du 23 juin 2016, p. 4, 5, 7 et 8).
Il résulte de ce qui précède que, contrairement à ce que soutient le recourant, le Dr A._ n'a pas attesté, ni expressément ni implicitement de la vraisemblance de chances de succès d'un traitement thérapeutique dans les cinq ans à venir. On ne saurait dès lors considérer que l'autorité précédente se serait écartée de l'avis de cet expert en ne retenant pas un tel pronostic. Le grief d'arbitraire sur ce fait est infondé.
1.2.3. Le recourant invoque avoir clairement exprimé sa volonté de se soumettre à une thérapie. Déterminer ce qu'une personne veut relève de la constatation des faits (cf. <ref-ruling> consid. 6.3 p. 375; également <ref-ruling> consid. 12 p. 152). L'autorité précédente a exposé pour quels motifs elle estimait les déclarations du recourant sur ce point purement stratégiques et ne dénotant aucune volonté sérieuse d'initier une thérapie (jugement attaqué, p. 85 ch. 3.4). Le recourant n'expose pas, conformément aux exigences de motivation précitées, en quoi cette constatation serait arbitraire. Son grief est irrecevable. Au demeurant, que l'intéressé soit désireux de suivre un traitement institutionnel ne suffit pas à lui seul à éviter l'internement (cf. arrêts 6B_206/2015 du 8 octobre 2015 consid. 3.1.3; 6B_978/2010 du 1er septembre 2011 consid. 3.1.2).
1.2.4. Le recourant reproche en vain à l'autorité précédente d'avoir fait preuve d'arbitraire en ne retenant pas que le risque de récidive et le trouble avaient diminué depuis le premier rapport des experts. Le jugement attaqué constate en effet que le Dr A._ a déclaré lors de son audition du 23 juin 2016 avoir eu l'impression qu'il y avait eu une diminution de la sévérité du trouble (p. 84, ch. 3.3) et que le risque de récidive, considéré dans sa première expertise comme majeur, quasiment une certitude de récidive d'actes parmi les plus graves, était " peut-être un peu plus faible " (p. 79). Ces éléments n'imposaient quoi qu'il en soit pas une mesure différente (cf. infra consid. 1.3).
1.2.5. Il résulte de ce qui précède que les griefs d'arbitraire dans l'appréciation des preuves et la constatation des faits sont infondés, dans la mesure de leur recevabilité.
1.3. Reste à examiner la licéité du refus de l'autorité précédente de prononcer un traitement thérapeutique institutionnel.
L'expert B._ a dans son expertise complémentaire estimé que le recourant n'était pas accessible à un traitement. L'appréciation actualisée du recourant par l'expert A._ a été reprise ci-dessus ad consid. 1.2.2 et 1.2.4. Au vu des conclusions de ces experts, l'autorité précédente pouvait retenir qu'il n'était pas vraisemblable que le recourant, qui n'en avait pas la volonté et pour lequel selon sa pathologie actuelle il n'existait au jour du jugement attaqué aucun traitement, puisse dans les cinq ans, grâce à un traitement institutionnel, changer son mode de fonctionnement de sorte à réduire de manière nette le risque de récidive. La condition posée par l'<ref-law> n'étant pas remplie, c'est à juste titre que l'autorité précédente a renoncé à prononcer un traitement thérapeutique institutionnel.
Le recourant invoque la diminution du risque de récidive depuis le premier constat des experts et assène que cette diminution devait incontestablement amener l'autorité précédente à retenir que le risque de récidive pouvait diminuer en mettant le recourant au bénéfice d'une prise en charge thérapeutique (recours, p. 14). Le grief est infondé: la diminution " peut-être " (cf. supra consid. 1.2.4) du risque de récidive hors traitement, constaté par l'un des experts, n'imposait pas de s'écarter des constatations des experts pour retenir qu'un traitement, qui n'existait pas, que le recourant ne voulait pas et auquel il n'était pas accessible, aurait eu des chances de succès dans un proche avenir. Pour le surplus, la diminution même admise du risque de récidive comme du trouble dont souffre le recourant entre la perpétration des crimes et le jugement n'enlevait rien à ce que, d'une part, le risque de récidive et le trouble existant au moment du jugement entrepris suffisaient pour prononcer un internement - ce que le recourant ne conteste au demeurant pas -, d'autre part, les conditions posées pour ordonner un traitement thérapeutique institutionnel n'étaient pas remplies. Le grief est rejeté.
1.4. Le recourant ne conteste pas que les conditions posées par l'<ref-law> pour prononcer un internement aient été remplies. Son grief de violation de cette disposition, dès lors qu'il ne repose que sur l'assertion qu'un traitement thérapeutique aurait dû être ordonné en lieu et place de l'internement prononcé, ne peut au vu de ce qui précède qu'être rejeté. Il en va de même du grief de violation de l'<ref-law>.
2.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure où il est recevable.
Le recours était voué à l'échec, de sorte que l'assistance judiciaire requise est refusée (<ref-law>). Les frais judiciaires, dont la quotité tiendra compte de la situation financière du recourant, sont mis à la charge de ce dernier (art. 65 al. 2 et art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour suprême du canton de Berne, 2ème Chambre pénale.
Lausanne, le 28 septembre 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod