Faits : A. Par arrêt du 7 mai 1984, la Cour de cassation pénale du Tribunal cantonal vaudois a confirmé le jugement rendu le 16 janvier 1984 condamnant X._ à la réclusion à vie, notamment pour l'assassinat de son épouse. B. Par décision du 23 septembre 2016, le Collège des juges d'application des peines du canton de Vaud a rejeté la réquisition de X._ tendant à la mise en oeuvre d'une nouvelle expertise psychiatrique et a refusé de prononcer sa libération conditionnelle. C. Par arrêt du 7 octobre 2016, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours de X._ contre cette décision. D. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut à sa réforme en ce sens que sa réintégration dans l'exécution de sa peine est annulée et qu'il est remis en liberté conditionnelle, aux conditions que justice dira. Subsidiairement, il requiert l'annulation de cet arrêt et le renvoi de la cause à l'autorité précédente pour qu'elle ordonne une nouvelle expertise, l'expert devant être un psychiatre hors du canton de Vaud, puis rende une nouvelle décision. Il sollicite l'assistance judiciaire.