Faits :
A.
Par arrêt du 7 mai 1984, la Cour de cassation pénale du Tribunal cantonal vaudois a confirmé le jugement rendu le 16 janvier 1984 par le Tribunal criminel du district de Lausanne, qui condamnait X._, en particulier pour l'assassinat de son épouse en 1982, à la réclusion à vie.
B.
Par décision du 23 décembre 1997, la Commission de libération du Canton de Vaud a accordé la libération conditionnelle à X._, assortie d'un délai d'épreuve de cinq ans, de conditions d'un contrôle social et de contrôles antialcooliques.
Au cours de l'année 2001, trois enquêtes ont été ouvertes sur plaintes successives de la concubine de X._ à son encontre. Le 30 novembre 2001, la Commission de libération a révoqué la libération conditionnelle et ordonné la réintégration dans l'exécution de la peine pour une durée indéterminée. Les recours successifs interjetés par X._ contre cette décision ont été rejetés, la dernière fois par arrêt du Tribunal fédéral du 8 mai 2002 (réf. 6A.27/2002).
Par rapport d'expertise du 2 décembre 2003, le Département universitaire de psychiatrie adulte du canton de Vaud a posé un diagnostic d'antécédents d'abus d'alcool et de trouble de la personnalité. Ce diagnostic a été confirmé par le rapport d'expertise psychiatrique établi par le Département de psychiatrie du CHUV le 6 juin 2008. Les auteurs de ce dernier rapport ont considéré que l'ouverture du régime d'exécution ne devait pas être exclue, mais que celle-ci ne pouvait être envisagée qu'à la condition de la mise en place de mesures strictes de contrôle des situations à risque. Un tel dispositif de mesures extérieures n'était susceptible d'amener les résultats de prévention escomptés que si X._ y collaborait de manière authentique. Selon les experts, les situations dans lesquelles les failles narcissiques du prénommé représentaient des facteurs de risque étaient les suivantes: une relation de proximité et d'intensité émotionnelle avec une femme, une situation conflictuelle qui réveillerait un sentiment d'abandon ou de tromperie, ainsi qu'une consommation d'alcool, même ponctuelle, qui ajouterait, de par son effet de désinhibition, un facteur de risque supplémentaire par rapport au passage à l'acte.
A la suite de la révocation de la libération conditionnelle du 30 novembre 2001, celle-ci a été refusée à X._ à sept reprises, dont les 8 janvier 2008 et 3 mars 2010.
C.
Par prononcé du 6 mai 2011, le Collège des juges d'application des peines du Canton de Vaud a libéré conditionnellement X._ de l'exécution de sa peine. La durée du délai d'épreuve était fixée à cinq ans. X._ devait se soumettre à des contrôles réguliers d'abstinence à l'alcool. Une assistance de probation était également ordonnée, assumée par la Fondation vaudoise de probation (ci-après : la FVP). Un suivi très régulier par l'autorité de probation s'imposait, lequel devait porter de façon générale sur les conditions de réinsertion et de vie de X._, mais aussi plus spécifiquement sur le contrôle des relations que ce dernier entretiendrait avec ses enfants et petits-enfants, ainsi qu'avec ses neveux et avec toute éventuelle compagne.
Le 8 février 2012, X._ a été condamné à 45 jours-amende pour conduite en état d'ébriété. Par prononcé du 8 mars 2013, après avoir constaté que l'intéressé paraissait s'être ressaisi en ce qui concernait l'obligation de respecter une stricte abstinence à l'alcool, le Collège des Juges d'application des peines a maintenu les modalités de la libération conditionnelle fixées par le prononcé du 6 mai 2011, indiquant que la procédure en cause faisait office de sérieux avertissement pour X._.
Dans un rapport de situation du 12 septembre 2013, la FVP a indiqué que X._ s'était présenté stressé en entretien et avait expliqué avoir été pris en otage par deux détenus en cavale.
Dans un rapport de situation du 19 septembre 2013, la FVP a indiqué avoir été contactée le jour même par la fille de X._. Cette dernière avait fait part d'un intense malaise qui s'était installé dans la relation avec son père. Elle avait indiqué que celui-ci la harcelait et tentait notamment de s'immiscer dans la relation qu'elle entretenait avec ses enfants. Il faisait en outre pression sur elle pour obtenir de l'argent et se serait montré physiquement violent avec une voisine, l'ayant empoignée et giflée à deux reprises. Elle-même se sentait menacée par son père. Elle avait demandé, par l'intermédiaire de son mari, qu'il ne la contacte plus, mais il ne respectait pas sa demande. Les relations avec les autres membres de la famille semblaient en outre se détériorer rapidement. La FVP a considéré cette situation comme particulièrement alarmante et relevé que l'univers illusoire que X._ s'était créé depuis sa sortie de détention s'écroulait brusquement et qu'elle craignait dès lors ses réactions. Le prénommé s'efforçait de gérer et d'organiser son "petit monde" qui représentait, de l'avis de la FVP, un élément stabilisateur. Sans ce dernier, l'hypothèse d'une grave rupture psychique pouvant conduire à de graves passages à l'acte, compte tenu du passé de l'intéressé, devait être sérieusement envisagée.
Le 20 septembre 2013, l'Office d'exécution des peines (ci-après : l'OEP) a proposé au Collège des Juges d'application des peines de révoquer la libération conditionnelle et d'ordonner la réintégration. Il a indiqué que, selon les deux conseillers de probation qui suivaient X._, ce dernier était de plus en plus confus dans ses propos et son état d'esprit tendait à varier entre des propos euphoriques et un état à tendance dépressive. De plus, il serait acculé par des problèmes financiers et aurait sollicité à plusieurs reprises de l'argent de ses enfants. Il demeurait en outre toujours dans le déni par rapport à l'assassinat de sa femme, estimant encore récemment qu'il s'agissait d'un accident. Compte tenu de ces éléments, dont l'isolement familial de X._, l'existence d'un conflit avec ses enfants, sa non-acceptation de l'interdiction que posait sa fille dans leurs relations, le harcèlement qu'il tendait à avoir à son égard, l'OEP a considéré que X._ n'était plus digne de la confiance inhérente au maintien de son élargissement anticipé. Plus précisément, le contrôle de sa libération conditionnelle par la FVP et les tests d'abstinence ne paraissaient plus constituer une barrière suffisante pour contenir le risque de récidive d'infractions contre l'intégrité corporelle ou la vie. L'OEP a encore souligné que X._ était déjà passé à l'acte et que les graves faits commis dans le cadre d'une précédente libération conditionnelle l'avaient conduit à une réintégration en milieu fermé. Cela tendait à démontrer que les freins moraux dont il disposait ne paraissaient plus suffisants, que son entourage se détournait de lui, induisant un sentiment d'abandon, qu'il demeurait incapable d'accepter un avis ne lui convenant pas et que plusieurs facteurs du risque de récidive étaient présents. Des mesures provisionnelles en vue d'une réintégration immédiate en milieu carcéral devaient également être ordonnées.
D.
Par ordonnance de mesures provisoires du 23 septembre 2013, le Président du Collège des Juges d'application des peines a ordonné la réintégration immédiate, à titre provisoire, de X._, dans un établissement carcéral d'exécution de peine. Par ordonnance du 21 février 2014, il a rejeté une demande de libération.
Par décision du 30 juin 2014, le Collège des Juges d'application des peines a révoqué la libération conditionnelle et ordonné la réintégration de X._ dans l'exécution de la peine.
E.
Par arrêt du 9 juillet 2014, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par X._ contre cette décision.
F.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut à l'annulation de cette décision et à sa remise en liberté conditionnelle, subsidiairement au renvoi de la cause à l'autorité précédente pour qu'elle mette en oeuvre une expertise psychiatrique et rende une nouvelle décision à réception du rapport d'expertise. Il sollicite également l'assistance judiciaire.

Considérant en droit :
1.
Aux termes de l'<ref-law>, si le condamné, libéré conditionnellement, se soustrait à l'assistance de probation, s'il viole les règles de conduite ou si l'assistance de probation ou les règles de conduite ne peuvent plus être exécutées ou ne sont plus nécessaires, l'autorité compétente présente un rapport au juge ou à l'autorité d'exécution. Dans ces cas, le juge ou l'autorité d'exécution peut prolonger le délai d'épreuve jusqu'à concurrence de la moitié de sa durée, lever l'assistance de probation ou en ordonner une nouvelle ou modifier les règles de conduite, les révoquer ou en imposer de nouvelles (<ref-law>). Il peut également ordonner la réintégration dans l'exécution de la peine ou de la mesure s'il est sérieusement à craindre que le condamné ne commette de nouvelles infractions (<ref-law>).
2.
Le recourant requiert la mise en oeuvre d'une nouvelle expertise. Une mesure aussi grave que la réintégration ne saurait être ordonnée sans que l'on actualise le rapport d'expertise établi en 2008.
2.1. L'<ref-law> réglant la procédure de réintégration, ni aucune autre disposition, n'impose la mise en oeuvre d'une expertise comme condition permettant la réintégration. La question de savoir si une nouvelle expertise devait être ordonnée par l'autorité précédente doit donc être examinée à la lumière de l'<ref-law>, étant précisé qu'une réintégration selon l'<ref-law> constitue une décision judiciaire indé-pendante (<ref-law>; CHRISTIAN SCHWARZENEGGER, in DONATSCH/ HANSJAKOB/LIEBER [édit], Kommentar zur Schweizerischen Strafprozessordnung, 2ème éd. 2014, n° 2 ad <ref-law>) régie par le CPP. Afin de déterminer quel moyen de preuve doit être administré, le juge dispose d'un pouvoir d'appréciation (cf. arrêt 6B_484/2012 du 11 décembre 2012 consid. 1.2 et les références citées). Le juge peut notamment refuser une preuve nouvelle, lorsqu'une administration anticipée non arbitraire de cette preuve démontre que celle-ci ne sera pas de nature à modifier le résultat de celles déjà administrées (arrêt 6B_1066/2013 du 27 février 2014 consid. 2.1 et les références citées).
2.2. En l'espèce, le recourant n'expose pas en quoi le refus de l'autorité précédente d'ordonner une nouvelle expertise constituerait une appréciation anticipée arbitraire de ce moyen de preuve. Il n'allègue notamment pas que les conclusions de l'expertise établie en 2003, confirmées en 2008, seraient dépassées. Le grief doit dès lors être écarté.
3.
Le recourant conteste la révocation de la libération conditionnelle et sa réintégration dans l'exécution de la peine.
3.1. L'autorité précédente a relevé qu'il ressortait du dossier que toute consommation d'alcool chez le recourant devait être considérée comme un facteur de risque de récidive à ce point important qu'une abstinence complète était nécessaire. Le prononcé rendu le 8 mars 2013 par le Collège des Juges d'application des peines constituait clairement un ultime avertissement à cet égard. L'instruction avait toutefois révélé que le recourant avait consommé de l'alcool de façon répétée depuis lors. Le fait que le recourant, interpellé sur sa problématique alcoolique, se réfugie dans le déni démontrait que celle-ci était loin d'être résolue. Rien ne permettait de penser que l'admission par le recourant d'une consommation d'alcool dans son recours constituait une véritable prise de conscience. S'agissant de ses relations familiales, les experts ont souligné que la survenance d'une situation conflictuelle qui réveillerait un sentiment d'abandon ou de tromperie chez le recourant représentait un facteur de risque. Or, si le recourant tente de minimiser l'importance du conflit qui l'oppose à sa fille, celui-ci est bien réel et trouve sa cause principale dans le fait que le recourant a cherché à exercer une emprise sur ses proches, en particulier sa fille et sa petite-fille. Le recourant est en outre manifestement fâché que sa fille lui ait caché des faits dont il estimait devoir avoir connaissance. Au vu de ces éléments, l'autorité précédente a considéré que le recourant se trouvait désormais typiquement dans une situation du genre de celles dont les experts craignaient la survenance. Elle a encore relevé que l'existence de rapports tendus entre le recourant et certains voisins ne pouvait que renforcer les craintes de récidive. Les circonstances de l'incident, soit une altercation relativement violente dans un contexte de consommation d'alcool de part et d'autre, confirment que le recourant éprouve toujours de grandes difficultés à tolérer la contradiction. Au vu de ces éléments, l'autorité précédente a confirmé le pronostic défavorable posé en première instance. La conjonction de plusieurs facteurs de risque présents de façon caractérisée rendait le risque de récidive à ce point concret qu'il excluait qu'on opte pour des mesures moins incisives que la révocation de la libération conditionnelle et la réintégration dans l'exécution de la peine.
3.2. A l'appui de son recours, le recourant semble contester avoir continué à boire après le 8 mars 2013. Ce faisant, il s'écarte de l'état de fait constaté par l'autorité précédente, sans en démontrer l'arbitraire, ce qui est irrecevable. Au demeurant, que le médecin effectuant les contrôles ait indiqué qu'il ne suspectait pas "une consommation considérée comme abusive" (recours, p. 4) ne signifie pas que le recourant respectait l'abstinence totale qui lui était imposée.
Le recourant reconnaît ensuite les tensions existant entre lui et ses voisins d'une part, sa fille d'autre part. Il les minimise toutefois et tente de les justifier. Dans son cas, une "altercation relativement violente dans un contexte de consommation d'alcool" (jugement attaqué, p. 10) avec des voisins ne peut toutefois aucunement être considérée comme "absolument anodine" (recours, p. 5). Tel n'est pas non plus le cas de son attitude envers sa fille, qu'il harcèle, malgré les demandes de la laisser tranquille, et dans la vie de laquelle il s'immisce de manière disproportionnée et tente d'exercer une emprise. Qu'il estime que n'importe quel père ou grand-père "conscient de ses responsabilités aurait agi de la même façon" (recours, p. 5) montre encore de manière évidente qu'il ne se rend pas compte du caractère inadéquat de son comportement.
3.3. Le recourant a été condamné pour des faits très graves (assassinat de son épouse). Deux facteurs de récidive posés par les experts, soit la consommation d'alcool et la survenance de situations conflictuelles notamment avec sa fille, sont ici clairement réalisés. Le recourant est dans un déni total quant aux problèmes qu'il rencontre et au risque de récidive sérieux qui peuvent en résulter pour l'intégrité physique d'autrui. Dans ces circonstances, on ne peut que confirmer l'appréciation de l'autorité précédente quant au fait que le pronostic est désormais clairement défavorable. Compte tenu du déni du recourant, il n'apparaît pas que l'une des mesures visées par l'<ref-law> soit de nature à réduire sensiblement le risque sérieux et concret que le recourant commette de nouvelles infractions graves. La révocation de la libération conditionnelle et la réintégration prononcées ne violent ainsi pas le droit fédéral.
4.
Le recours doit être rejeté dans la mesure où il est recevable. Les conclusions sont manifestement dénuées de chance de succès. La demande d'assistance judiciaire est rejetée (<ref-law> a contrario). Le recourant supportera les frais de justice dont la quotité tiendra compte de sa situation financière (art. 65 al. 2 et art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 17 novembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Mathys
La Greffière : Cherpillod