Faits :
A.
Par arrêt du 7 mai 1984, la Cour de cassation pénale du Tribunal cantonal vaudois a confirmé le jugement rendu le 16 janvier 1984 condamnant X._ à la réclusion à vie, notamment pour l'assassinat de son épouse.
B.
Par décision du 23 septembre 2016, le Collège des juges d'application des peines du canton de Vaud a rejeté la réquisition de X._ tendant à la mise en oeuvre d'une nouvelle expertise psychiatrique et a refusé de prononcer sa libération conditionnelle.
C.
Par arrêt du 7 octobre 2016, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours de X._ contre cette décision.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut à sa réforme en ce sens que sa réintégration dans l'exécution de sa peine est annulée et qu'il est remis en liberté conditionnelle, aux conditions que justice dira. Subsidiairement, il requiert l'annulation de cet arrêt et le renvoi de la cause à l'autorité précédente pour qu'elle ordonne une nouvelle expertise, l'expert devant être un psychiatre hors du canton de Vaud, puis rende une nouvelle décision. Il sollicite l'assistance judiciaire.

Considérant en droit :
1.
L'arrêt attaqué ne statue pas sur la réintégration du recourant, prononcée en 2013-2014, question jugée de manière définitive en 2014 déjà (cf. arrêt 6B_720/2014 du 17 novembre 2014). La conclusion en annulation de sa réintégration échappe ainsi à l'objet du litige. Elle est irrecevable. Reste la question de la mise en liberté conditionnelle du recourant.
2.
Le recourant réclame une nouvelle expertise psychiatrique. Il n'expose pas quelle disposition légale aurait imposé à l'autorité précédente d'y procéder. Insuffisamment motivée au regard des exigences posées par les art. 42 al. 2 et 106 al. 2 LTF, sa critique est irrecevable.
3.
A l'appui de ses conclusions, on comprend que le recourant, sans citer aucune disposition légale, soutient que sa réintégration aurait été fondée sur les accusations de sa fille et de la voisine de celle-ci. Il invoque ensuite notamment une ordonnance de classement du 29 juillet 2016 et cite son contenu, puis critique la valeur probante donnée par les autorités au rapport d'expertise du 17 juillet 2015, fondé selon lui sur les fausses accusations de sa fille, preuve en est l'ordonnance de classement précitée qui constituerait un élément nouveau.
3.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, ce qu'il appartient au recourant d'alléguer et d'étayer conformément aux exigences de motivation strictes posées par l'<ref-law> (cf. <ref-ruling> consid. 6.3 p. 375). Constituent de telles constatations de fait non seulement celles relatives à l'état de fait objet de la procédure, mais également celles portant sur le déroulement des procédures devant les instances préalables (<ref-ruling> consid. 1.3.1 p. 17 s.).
3.2. En l'occurrence, le recourant, bien qu'assisté d'un avocat, fonde quasiment tout son recours sur des faits qui ne résultent pas de l'arrêt entrepris. A aucun moment, il n'invoque, encore moins ne démontre que ces faits auraient été omis de manière arbitraire. Les griefs que le recourant en tire sont irrecevables.
3.3. Le recourant conteste la valeur probante accordée par l'autorité précédente au rapport d'expertise du 17 juillet 2015 et qui a conduit cette autorité à confirmer le pronostic défavorable excluant la libération conditionnelle du recourant. Contrairement à ce qu'invoque le recourant, la lecture de l'expertise permet de constater que ses signataires ne se sont pas fondés uniquement sur des déclarations de la fille du recourant. Elle permet également de constater que cette expertise résulte de plusieurs entretiens avec le recourant. Que le Dr. A._ n'ait participé qu'à l'un d'eux n'interdisait aucunement à l'autorité précédente d'accorder de valeur probante à l'expertise. Rien ne laisse non plus penser, contrairement à ce qu'assène le recourant, que les experts se soient contentés de reprendre les conclusions des précédentes expertises. Enfin, que la plainte de la fille du recourant contre celui-ci pour dénonciation calomnieuse ait été classée - à l'instar de celle du recourant contre cette dernière pour diffamation et faux témoignage, classement prononcé en novembre 2014 - ne démontre aucunement que les déclarations de la fille du recourant, telles que portées à la connaissance de l'expert, aient été fausses. L'ordonnance de classement invoquée par le recourant précise d'ailleurs bien que rien n'indiquait que la fille du recourant avait menti (ordonnance du 29 juillet 2016, p. 2; recours, p. 3). Les éléments invoqués par le recourant, outre qu'ils sont pour la plupart irrecevables car appellatoires, ne démontrent ainsi pas que l'autorité précédente serait tombée dans l'arbitraire en se fondant sur l'expertise du 17 juillet 2015 pour statuer sur la libération conditionnelle du recourant.
3.4. Au vu des conclusions de cette expertise - jugeant élevé le risque de récidive d'actes de même nature - et des autres éléments cités par l'autorité précédente, son refus de libérer conditionnellement le recourant (cf. arrêt entrepris, p 6 - 9, ch. 2; <ref-law>) ne viole pas le droit fédéral.
4.
Le recours doit être rejeté dans la mesure de sa faible recevabilité. Les conclusions étaient vouées à l'échec, l'assistance judiciaire est refusée au recourant (<ref-law>). Celui-ci supportera les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 27 avril 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod