Faits:
A.
Par jugement du 28 mars 2003, le Tribunal criminel de l'arrondissement de l'Est vaudois a condamné X._ pour enlèvement qualifié, contrainte sexuelle qualifiée, viol qualifié, tentative de viol, actes d'ordre sexuel avec un enfant, tentatives d'actes d'ordre sexuel avec un enfant, violation du domaine secret ou du domaine privé au moyen d'un appareil de prise de vues et pornographie à 12 ans de réclusion, sous déduction de 837 jours de détention préventive. Il a révoqué le sursis accordé le 7 juillet 1998 et ordonné l'exécution de la peine de 3 mois y relative. Le 11 septembre 2003, la Cour de cassation pénale du Tribunal cantonal vaudois a réformé ce jugement, libéré X._ de contrainte sexuelle qualifiée et maintenu le jugement pour le surplus. Cet arrêt a été confirmé par le Tribunal fédéral le 24 février 2004 (arrêt 6S.15/2004).
B.
B.a. Par prononcé du 26 avril 2012, le Collège des juges d'application des peines a libéré conditionnellement X._ de l'exécution des peines de 3 mois et 12 ans avec effet immédiat, fixé un délai d'épreuve d'un an, ordonné une assistance de probation, subordonné la libération conditionnelle à la poursuite du traitement psychiatrique et à des contrôles réguliers des consommations d'alcool et a chargé l'Office d'exécution des peines (ci-après: OEP) de mettre en oeuvre et contrôler la bonne exécution des conditions de la libération conditionnelle.
B.b. Dans un rapport du 17 juillet 2012, la Fondation vaudoise de probation (ci-après : FVP), à qui l'OEP avait confié le mandat d'assistance de probation, a indiqué que X._ avait honoré ses rendez-vous et qu'il s'était montré ponctuel. Toutefois, dès son premier rendez-vous, X._ avait essayé d'attaquer le cadre imposé pour son élargissement anticipé. Il avait clairement signifié qu'il refusait de faire des contrôles d'abstinence à l'alcool incluant une prise de sang. Il n'était également pas toujours d'accord avec les heures de rendez-vous fixées. Au troisième entretien, la FVP avait pu constater que X._ faisait preuve d'un seuil de tolérance peu élevé à la frustration et qu'il passait rapidement à l'état de colère. Il entretenait un certain flou autour de sa vie privée. Il tentait de reprendre contact avec ses fils, mais la FVP percevait des difficultés pour ces derniers de revoir leur père, quand bien même celui-ci demeurait persuadé du contraire.
Le 15 janvier 2013, la FVP a indiqué, dans son rapport à l'OEP, avoir contacté X._ le 20 décembre 2012 pour lui rappeler qu'il devait annoncer chaque mission temporaire à son assistant de probation. X._ avait en effet accepté de travailler dans une école sans en parler au préalable. Il avait rejeté fortement cette exigence en déclarant qu'il en avait « marre de devoir rendre des comptes » et que la justice devait arrêter « de lui mettre des bâtons dans les roues », ajoutant qu'il pouvait faire ce qu'il voulait, comme par exemple partir à Barcelone. La situation s'était améliorée après une mise en garde de l'OEP.
Dans son bilan final du 19 avril 2013, la FVP a indiqué que X._ avait une tendance certaine à contrôler le peu d'informations qu'il donnait, en répondant de manière évasive. Dans divers domaines, il peinait encore à gérer ses émotions. Son intolérance à la frustration s'était notamment manifestée par des accès de colère pour des questions administratives. La FVP a également exposé que la situation psycho-sociale du condamné l'inquiétait toujours autant et que le potentiel de récidive demeurait élevé à ses yeux. Selon elle, le fait que X._ n'ait pas été astreint à une abstinence à l'alcool ne lui avait pas permis de faire le lien entre son comportement, ses émotions et sa consommation. Cette situation augmentait sensiblement le risque d'un nouveau passage à l'acte de l'intéressé s'il venait à s'alcooliser massivement, comme cela avait été le cas lors de la commission de son crime. Seul un suivi à long terme, assuré conjointement avec les différents intervenants, pourrait réduire le risque de récidive. La FVP a conclu à la prolongation du mandat d'assistance de probation ainsi qu'à l'instauration d'une règle de conduite exigeant l'abstinence de consommation d'alcool.
B.c. Sur le plan psychiatrique, il ressort d'un complément d'expertise du 23 février 2012, que X._ avait tiré un bénéfice des consultations psychiatriques et de l'accompagnement socio-thérapeutique, de sorte que la reconnaissance du délit et de ses conséquences avait évolué, la conscience du trouble et de l'influence de celui-ci sur la relation aux autres ayant été améliorée. S'agissant du risque de passage à l'acte, l'expert a précisé qu'il n'y avait pas de notion de pédo-criminalité et qu'aucun diagnostic à ce jour ne retenait une préférence sexuelle pour les enfants. Le crime s'inscrivait dans un contexte de ruptures sociale, professionnelle, sentimentale et familiale et il avait été accompagné d'une consommation nocive d'alcool et d'une décompensation psychique de nature psychotique. Cumulés, ces éléments étaient clairement des facteurs de risque et, s'ils réapparaissaient, une crise psychique était fortement probable. L'expert ne pouvait cependant pas affirmer qu'elle serait accompagnée d'un passage à un acte de même genre que celui ayant abouti à la condamnation. Face à une structure psychique qui ne pouvait être modifiée, les facteurs contextuels prenaient une importance primordiale dans le déclenchement de la crise, de sorte qu'il fallait agir sur ces facteurs à long terme, voire à vie dans certaines situations cliniques. Le risque de passage à l'acte semblait principalement lié à la capacité ou non de l'expertisé à faire face aux modifications de systèmes symboliques auxquels il s'identifiait et celui des autres auxquels il était confronté dans ses relations interpersonnelles. Si un soutien relationnel investi, léger et permanent dans la durée pouvait être mis en place, le risque de décompensation psychique et de passage à l'acte pourrait être considérablement réduit. L'expertisé restait toutefois ambivalent face à la proposition de poursuivre les rencontres psychothérapeutiques au-delà de l'obligation de soins. L'expert a considéré que, dans un environnement de vie stable, X._ pouvait très bien vivre sans risque de décompensation et de passage à l'acte en s'appuyant sur des facteurs protecteurs tels que le rétablissement de liens avec sa famille, la possibilité de converser avec un psychothérapeute, une intégration sociale qui allait encore se renforcer, l'insertion professionnelle et un lieu de vie investi.
Dans son rapport du 17 décembre 2012, le Service de médecine et psychiatrie pénitentiaires (ci-après : SMPP), à qui l'OEP avait confié le mandat médico-légal concernant X._, a relevé que lors d'une séance réseau et du premier entretien, celui-ci s'était montré revendicateur, laissant des doutes quant à son évolution des dernières années. Selon le document final du 22 avril 2013, le SMPP a estimé que X._ avait fait preuve d'une réelle évolution. Ce service avait constaté une prise de conscience de la gravité des faits et une capacité de réfléchir à son fonctionnement psychique. L'intéressé était néanmoins une personne qui réagissait vivement à certains événements. Face à ces événements, il avait su développer des capacités de prise de distance dans un deuxième temps et de réflexion. La consommation excessive d'alcool de X._ pouvait être un problème délicat.
L'Unité socio-éducative du CHUV (ci-après : USE), chargée du mandat des contrôles réguliers de la consommation d'alcool, a indiqué, dans son courrier du 24 avril 2013, qu'elle était mitigée quant à la suite à donner au mandat médico-légal qui avait été confié. D'un côté, la poursuite d'un suivi alcoologique contraint ne lui paraissait pas pertinente tant X._ se sentait oppressé par le cadre qui lui était imposé. D'un autre côté, il lui semblait important de vérifier les dires de l'intéressé, à savoir qu'il n'avait pas perdu le contrôle de ses consommations d'alcool, par une nouvelle analyse capillaire.
B.d. Le 17 mai 2013, l'OEP a proposé au juge d'application des peines la prolongation du délai d'épreuve imparti à X._ pour une durée d'un an, avec la poursuite des règles de conduite aux mêmes conditions, sous réserve de la commutation des contrôles des consommations d'alcool en contrôles d'abstinence à l'alcool. En substance, l'OEP a estimé que le bilan du délai d'épreuve n'était pas entièrement favorable. Les doutes sérieux qui entouraient la question de la poursuite d'un suivi psychiatrique et la problématique liée à la consommation d'alcool parfois incontrôlée semblaient propres à induire la commission de nouvelles infractions. Ce risque semblait par ailleurs augmenter dans un tissu social marqué par l'instabilité professionnelle et des relations conflictuelles. Il se justifiait de poursuivre la prise en charge psychothérapeutique, le mandat de probation et le suivi alcoologique avec contrôles d'abstinence.
Le Juge d'application des peines a ouvert une procédure de prolongation du délai d'épreuve. Dans ce cadre, X._ a été entendu le 5 juin 2013 et a expliqué qu'il avait arrêté de travailler et ce jusqu'à décision prise quant à la prolongation du délai d'épreuve. Il n'envisageait pas de poursuivre un suivi psychiatrique sur un mode volontaire car, dans l'hypothèse où il se sentirait mal, il serait capable de contacter un médecin.
Par courrier du 23 juin 2013, X._ a annoncé son départ en vacances pour une durée de quelques semaines, sans préciser sa destination.
La FVP a fait part, dans son rapport du 12 juillet 2013, du fait que X._ lui avait indiqué en avoir assez de rendre des comptes à la justice et ne pas pouvoir envisager une prolongation du délai d'épreuve. Depuis le début de son mandat, la FVP avait pu constater que l'intéressé se positionnait sans cesse en victime et peinait à comprendre le sens et la portée de son suivi probatoire. Il avait d'ailleurs décidé d'interrompre son suivi à l'Office régional de placement (ci-après: ORP) de son propre chef, sans en avoir discuté préalablement avec elle. Il n'avait plus accepté de mission temporaire depuis le mois de mai au motif que ses obligations judiciaires entravaient le bon fonctionnement desdites missions. La FVP a indiqué être inquiète en raison du courrier de X._ du 23 juin 2013 annonçant son départ et était sans nouvelles de lui depuis. En définitive, X._ ne respectait pas le cadre de son élargissement anticipé et, par son comportement, démontrait qu'il ne faisait pas grand cas de ses obligations judiciaires. Il consommait de l'alcool de manière excessive depuis le début de l'année 2013. Dans un tel contexte, le risque de récidive apparaissait comme très élevé. La FVP préconisait donc la révocation de la libération conditionnelle.
Par courrier du 7 août 2013, l'OEP a proposé au Collège des juges d'application des peines de révoquer la libération conditionnelle de X._ et d'ordonner sa réintégration en vue d'exécuter le solde de peine de dix mois et quinze jours. L'OEP partageait les fortes inquiétudes émises par la FVP. Selon le complément d'expertise du 23 février 2012, le crime commis par X._ s'inscrivait dans un contexte de ruptures sociale, professionnelle, sentimentale et familiale et avait été accompagné d'une consommation nocive d'alcool ainsi que d'une décompensation psychique de nature psychotique. L'OEP relevait que depuis le début de l'année 2013, X._ se trouvait dans un contexte tel que celui-ci et qu'il avait mis fin aux suivis auxquels il était encore astreint en partant en voyage sans informer qui de droit et contrairement à ses obligations. Toutes les convocations étaient par ailleurs restées sans suite.
B.e. A la suite de la proposition de l'OEP, le Collège des juges d'application des peines a transformé la procédure de prolongation du délai d'épreuve en procédure tendant à la révocation de la libération conditionnelle de X._ et a fixé une audience au 3 septembre 2013 à laquelle celui-ci ne s'est pas présenté.
B.f. X._ a été appréhendé le 25 octobre 2013 à l'aéroport de Genève après quatre mois passés aux Antilles.
C.
Par ordonnance de mesures provisoires du 28 octobre 2013, la Présidente du collège des juges d'application des peines a ordonné la réintégration immédiate, à titre provisoire, de X._.
Sur recours de X._, la Chambre des recours pénale du Tribunal cantonal vaudois a confirmé cette décision par arrêt du 13 novembre 2013.
D.
Par prononcé du 22 novembre 2013, le Collège des juges d'application des peines a révoqué la libération conditionnelle accordée à X._, ordonné la réintégration de celui-ci dans l'exécution du solde des peines privatives de liberté et son maintien en détention et a saisi le Tribunal d'arrondissement de l'Est vaudois en vue de l'examen du prononcé d'une mesure thérapeutique institutionnelle.
Statuant sur le recours de X._, la Chambre des recours pénale du Tribunal cantonal vaudois l'a rejeté par arrêt du 11 décembre 2013.
E.
X._ forme un recours en matière pénale contre l'arrêt du 13 novembre 2013 (6B_1224/2013). Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il est immédiatement libéré de la détention et qu'une indemnité de 275 fr., respectivement 250 fr., par jour de détention lui est allouée. Subsidiairement, il conclut à son annulation. Il requiert par ailleurs l'assistance judiciaire.
X._ forme un recours en matière pénale contre l'arrêt du 11 décembre 2013 (6B_71/2014). Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens que sa libération conditionnelle n'est pas révoquée, que sa mise en liberté est ordonnée, que la saisine en vue de l'examen du prononcé d'une mesure thérapeutique institutionnelle n'est pas ordonnée et qu'une indemnité de 275 fr., respectivement de 250 fr., par jour de détention lui est allouée. Subsidiairement, il conclut à l'annulation de l'arrêt entrepris. Il requiert par ailleurs l'assistance judiciaire. Par courrier du 7 mars 2014, il a produit une expertise psychiatrique du 4 mars 2014.

Considérant en droit:
1.
Les deux recours ont trait à deux décisions distinctes prises toutefois dans le cadre de la même affaire et concernant le même complexe de faits. Il y a lieu de joindre les causes et de les traiter dans un seul arrêt (art. 24 al. 2 PCF et 71 LTF).
2.
2.1. Le recours en matière pénale est ouvert contre les décisions sur l'exécution des peines et mesures (art. 78 al. 2 let. b LTF). Il doit s'agir d'une décision qui met fin à la procédure (décision finale, art. 90 LTF). En revanche, une décision incidente qui ne porte pas sur la compétence ou sur une demande de récusation ne peut faire l'objet d'un recours en matière pénale que si elle peut causer un préjudice irréparable (art. 93 al. 1 let. a LTF) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (let. b). S'agissant de l'art. 93 al. 1 let. a LTF, il suppose, en matière pénale, que la partie recourante soit exposée à un dommage de nature juridique, qui ne puisse pas être réparé ultérieurement par un jugement final ou une autre décision qui lui serait favorable (<ref-ruling> consid. 2.1 p. 173).
Aux termes de l'art. 98 LTF, dans le cas des recours formés contre des décisions portant sur des mesures provisionnelles, seule peut être invoquée la violation des droits constitutionnels. Toutefois, dans le cadre des recours fondés sur le droit à la liberté personnelle (art. 10 al. 2 et 31 Cst.) contre des décisions de mise en détention provisoire, le Tribunal fédéral revoit librement la cause, sous réserve des questions de fait (<ref-ruling> consid. 1.2 p. 189; <ref-ruling> consid. 2 p. 125 s.).
Emanant d'une autorité cantonale de dernière instance, la décision du 13 novembre 2013 ordonnant la réintégration provisoire du recourant a un caractère incident puisqu'elle ne met pas fin à la procédure. Dès lors qu'elle touche à la liberté personnelle du recourant, elle cause manifestement un préjudice irréparable au sens de l'art. 93 al. 1 let. a LTF. Les autres conditions de recevabilité étant réunies, il y a lieu d'entrer en matière sur le fond.
2.2. La décision du 11 décembre 2013 révoquant la libération conditionnelle est quant à elle une décision finale, rendue par une autorité cantonale de dernière instance concernant l'exécution d'une peine. Le recours en matière pénale est donc ouvert à son encontre.
3.
La pièce nouvelle (rapport d'expertise du 4 mars 2014) produite par le recourant, qui plus est après l'échéance du délai de recours, est irrecevable (99 al. 1 LTF).
4.
Le recourant fait valoir que son délai d'épreuve s'est définitivement achevé le 26 avril 2013 et que la cour cantonale ne pouvait pas tenir compte d'éléments postérieurs à cette date pour justifier sa réintégration. Il mentionne qu'à la fin de son délai d'épreuve, le 26 avril 2013, l'OEP a requis la prolongation des règles de conduite et de l'assistance de probation au sens de l'art. 87 al. 3 CP et non la prolongation du délai d'épreuve.
4.1. Le 17 mai 2013, l'OEP a proposé « la prolongation du délai d'épreuve ». S'il s'est certes référé à l'art. 87 al. 3 CP, il était bien question d'une prolongation du délai d'épreuve comme l'ont considéré les juges de première instance (cf jugement de première instance ch. 7, p. 5) et la cour cantonale (cf. jugement attaqué, p. 11 qui ne se réfère qu'à l'art. 89 al. 3 CP). Il ne s'agissait donc pas d'une simple prolongation de l'assistance de probation et des règles de conduite, ce qui aurait exclu, selon l'art. 87 al. 3 CP, toute réintégration sur la base de l'art. 95 al. 5 CP. La référence à l'art. 87 al. 3 CP est sans portée. Seule l'application des art. 89 et 95 CP entre en ligne de compte.
4.2. Aux termes de l'art. 89 CP, si, durant le délai d'épreuve, le détenu libéré conditionnellement commet un crime ou un délit, le juge qui connaît de la nouvelle infraction ordonne sa réintégration dans l'établissement (al. 1). Si, malgré le crime ou le délit commis pendant le délai d'épreuve, il n'y a pas lieu de craindre que le condamné ne commette de nouvelles infractions, le juge renonce à la réintégration. Il peut adresser un avertissement au condamné et prolonger le délai d'épreuve de la moitié au plus de la durée fixée à l'origine par l'autorité compétente. Si la prolongation intervient après l'expiration du délai d'épreuve, elle court dès le jour où elle est ordonnée. Les dispositions sur l'assistance de probation et sur les règles de conduite (art. 93 à 95) sont applicables (al. 2). L'art. 95 al. 3 à 5 CP est applicable si la personne libérée conditionnellement se soustrait à l'assistance de probation ou si elle viole les règles de conduite (al. 3). La réintégration ne peut plus être ordonnée lorsque trois ans se sont écoulés depuis l'expiration du délai d'épreuve (al. 4).
L'art. 89 CP traite de l'échec de la mise à l'épreuve après libération conditionnelle qui peut intervenir soit en raison de la récidive du condamné, soit en raison de la soustraction à l'assistance de probation ou de la violation des règles de conduite.
4.2.1. En cas de récidive, le juge qui découvre, pendant le délai d'épreuve ou durant les trois ans qui suivent la fin de celui-ci, que le condamné a commis un nouveau crime ou délit ordonne sa réintégration. L'institution de la libération conditionnelle poursuit un but de prévention spéciale et doit permettre, in fine, au condamné de se réinsérer dans la société (cf. CORNELIA KOLLER, in Basler Kommentar, Strafrecht I, 3 e éd. 2013, n o 3 ad. art. 89 CP), raison pour laquelle la loi prévoit que le juge peut renoncer à la réintégration, s'il n'y a pas lieu de craindre que le condamné récidive à nouveau. Il peut, dans ce cas, notamment ordonner la prolongation du délai d'épreuve. Si la prolongation intervient après l'expiration du délai d'épreuve, elle court dès le jour où elle est ordonnée (art. 89 al. 2 3 e phrase CP). Le texte de l'art. 89 al. 4 CP, qui prévoit que la réintégration peut être ordonnée encore dans les trois ans qui suivent la fin du délai d'épreuve, ne parle pas de la possibilité de prolonger le délai d'épreuve. Toutefois, l'art. 89 al. 2 3 e phrase CP envisage une prolongation postérieure à la fin du délai. Il convient donc d'interpréter l'art. 89 CP dans le sens où une prolongation du délai d'épreuve (al. 2) est possible dans le délai de trois ans de l'al. 4.
4.2.2. En cas de soustraction à l'assistance de probation ou de violation des règles de conduite, l'art. 89 al. 3 CP renvoie aux règles figurant à l'art. 95 al. 3 à 5 CP.
Aux termes de l'art. 95 al. 3 CP, si le condamné se soustrait à l'assistance de probation, s'il viole les règles de conduite ou si l'assistance de probation ou les règles de conduite ne peuvent plus être exécutées ou ne sont plus nécessaires, l'autorité compétente présente un rapport au juge ou à l'autorité d'exécution. Dans ces cas, l'al. 4 prévoit que le juge ou l'autorité d'exécution peut prolonger le délai d'épreuve jusqu'à concurrence de la moitié de sa durée (let. a); lever l'assistance de probation ou en ordonner une nouvelle (let. b); modifier les règles de conduite, les révoquer ou en imposer de nouvelles (let. c). Le juge peut aussi révoquer le sursis ou ordonner la réintégration dans l'exécution de la peine ou de la mesure s'il est sérieusement à craindre que le condamné ne commette de nouvelles infractions (al. 5).
Au vu du renvoi de l'art. 89 al. 3 CP à l'art. 95 al. 3 à 5 CP, il convient de déterminer si la règle de l'art. 89 al. 4 CP - c'est-à-dire la possibilité offerte au juge d'ordonner la réintégration ou la prolongation du délai d'épreuve dans un délai de trois ans après la fin de celui-ci - s'applique également en cas de non-respect de l'assistance de probation ou des règles de conduite.
Comme le Tribunal fédéral a déjà eu l'occasion de le relever, l'articulation des art. 89 et 95 CP n'est pas claire (cf. <ref-ruling> consid. 4.2 p. 67). Selon la systématique légale, l'art. 89 al. 3 CP, qui renvoie certes à l'art. 95 al. 3 à 5 CP, est inséré parmi les règles concernant l'échec de la mise à l'épreuve en cas de libération conditionnelle. Quant à l'art. 95 CP, il est inséré dans le titre consacré à l'assistance de probation, aux règles de conduite et à l'assistance sociale facultative, et est intitulé « dispositions communes ». Il en découle que l'art. 95 CP est un article général, alors que l'art. 89 CP règle le cas particulier de l'échec de la mise à l'épreuve. Au vu de la systématique, il se justifie d'appliquer l'ensemble des règles de l'art. 89 CP en cas de non-respect de l'assistance de probation ou des règles de conduite dans le cadre d'une mise à l'épreuve après libération conditionnelle. Il en va en particulier ainsi de la règle figurant à l'art. 89 al. 4 CP, qui s'applique tant au prononcé de la réintégration que, comme on l'a vu (cf. supra consid 4.2.1), à la prolongation du délai d'épreuve. Par conséquent, en cas de soustraction à l'assistance de probation ou de violation des règles de conduite, le juge peut, s'il découvre la violation pendant le délai d'épreuve ou dans les trois ans qui suivent, ordonner la réintégration aux conditions de l'art. 95 al. 5 CP ou ordonner la prolongation du délai d'épreuve conformément à l'art. 95 al. 4 let. a CP.
4.3. Il résulte de ce qui précède que c'est à tort que le recourant prétend que le délai d'épreuve s'est définitivement achevé le 26 avril 2013. L'autorité cantonale était habilitée à initier une procédure de prolongation du délai d'épreuve et pouvait dans ce cadre envisager la réintégration. Reste à déterminer si la cour cantonale pouvait tenir compte d'événements postérieurs au 26 avril 2013 pour justifier la réintégration du recourant.
A cet égard, il ressort du jugement de première instance que le 23 mai 2013, le Juge d'application des peines a demandé à l'OEP de s'assurer que l'assistance de probation, le traitement psychiatrique et les contrôles réguliers de consommation d'alcool soient maintenus et suivis par le recourant et ce jusqu'à droit connu sur la procédure de prolongation du délai d'épreuve (jugement de première instance ch. 8, p. 5). Le 24 mai 2013, l'OEP a ainsi adressé un courrier à la FVP, au SMPP et à l'USE, avec copies au recourant, les invitant à poursuivre les prises en charge susmentionnées (cf. pièce 6 dossier cantonal). Nonobstant l'absence d'effet rétroactif de la prolongation du délai d'épreuve (cf. art. 89 al. 2 3 e phrase CP), l'élément déterminant est la connaissance par le condamné du fait qu'il est mis à l'épreuve pour une certaine durée. Dès lors qu'en l'espèce, le recourant connaissait l'existence de la procédure de prolongation du délai d'épreuve et qu'il avait formellement été rendu attentif au fait qu'il devait encore se soumettre à l'assistance de probation et aux règles de conduite - ce dont le recourant avait conscience dès lors qu'il a indiqué dans son courrier à la FVP du 23 juin 2013 annonçant son départ en vacances, qu'il reprendrait contact avec la FVP à son retour (cf. jugement de première instance ch. 10, p. 6) - les violations de l'assistance de probation et des règles de conduite qui ont eu lieu durant la procédure de prolongation pouvaient être prises en considération par la cour cantonale.
5.
Invoquant les art. 9, 10 al. 2, 31 et 36 Cst. ainsi que 95 CP, le recourant fait valoir que sa réintégration violerait le principe de proportionnalité.
5.1. L'invocation des moyens déduits du droit constitutionnel et conventionnel (art. 106 al. 2 LTF), suppose une argumentation claire et détaillée (<ref-ruling> consid. 1.4 p. 287), circonstanciée (<ref-ruling> consid. 3, p. 105), sous peine d'irrecevabilité.
Le recourant ne consacre pas de développements particuliers à la violation des articles constitutionnels qu'il invoque et ses griefs sont insuffisamment motivés au regard des exigences accrues posées à l'art. 106 al. 2 LTF. L'examen portera uniquement sous l'angle de l'art. 95 CP.
5.2. La réintégration selon l'art. 95 al. 5 CP implique que le comportement adopté qui consiste à se soustraire à l'assistance de probation ou à violer les règles de conduite doit être de nature à remettre en question le pronostic favorable posé au moment du prononcé de la mesure d'accompagnement. Il convient dès lors d'examiner d'une part les agissements de l'intéressé d'un point de vue objectif et d'autre part d'en mesurer la portée à la lumière de la finalité de la mesure ambulatoire d'accompagnement. Au plan des faits, l'inobservation peut être retenue en présence d'un refus répété de rencontrer l'agent de probation, d'une rupture inexpliquée et unilatérale d'un suivi thérapeutique, de l'abandon sans raison d'un emploi sans recherche d'un nouveau travail, d'un mépris affiché des avertissements de l'autorité d'application de la mesure, de la violation à réitérées reprises d'une règle de conduite malgré des rappels à l'ordre. Tout écart de conduite ne s'analyse cependant pas comme une insoumission. Il convient de considérer l'attitude du condamné consécutive à son manquement : l'analyse sera différente selon qu'il reconnaît sa faute ou en tire des enseignements, ou qu'il nie ou minimise les faits. A lui seul le comportement du condamné ne suffit cependant pas à conclure à une insoumission. Encore faut-il que la finalité de la mesure ambulatoire d'accompagnement apparaisse compromise, par exemple parce que le risque de récidive persiste ou s'aggrave (arrêt 6B_425/2013 du 31 juillet 2013 consid. 2.1 et les références citées).
En cas d'échec de la mesure, le principe de proportionnalité commande d'envisager prioritairement son réaménagement au sens de l'art. 95 al. 4 CP et seulement subsidiairement la révocation du sursis, respectivement la réintégration dans l'exécution de la peine ou de la mesure selon l'art. 95 al. 5 CP qui subordonne son application à la réalisation d'un risque sérieux de récidive. Le juge doit faire preuve de retenue dans le prononcé de la réintégration. L'insoumission constitue, au plus, un indice de récidive. En se fondant sur le rapport social (art. 95 al. 3 CP), le juge doit d'office instruire la question de savoir si, au-delà d'une insoumission à une mesure ambulatoire d'accompagnement, l'intéressé se trouve dans une situation dont on doit inférer qu'elle le conduira, très vraisemblablement, à retomber dans la délinquance (arrêt 6B_425/2013 du 31 juillet 2013 consid. 2.1 et les références citées). De l'avis du Conseil fédéral cette ultima ratio ne se conçoit qu'en dernière extrémité lorsque, pour une raison quelconque, la situation du condamné s'est détériorée au point que seule l'exécution de la peine semble, selon toute probabilité, la sanction la plus efficace (Message du 21 septembre 1998 concernant la modification du code pénal suisse [dispositions générales, entrée en vigueur et application du code pénal] et du code pénal militaire ainsi qu'une loi fédérale régissant la condition pénale des mineurs, FF 1999 1938).
5.3. La cour cantonale a retenu que, dans le cadre de sa libération conditionnelle, le recourant était astreint à une assistance de probation, à la poursuite d'un traitement psychiatrique et à des contrôles réguliers de la consommation d'alcool. Il ressortait des rapports des différents intervenants que le recourant avait violé à plusieurs reprises les règles de conduite qui lui étaient imposées. Le recourant avait notamment accepté un emploi dans une école sans en informer son assistant de probation. Il avait, dès qu'il avait appris qu'une procédure de prolongation du délai d'épreuve était ouverte, de son propre chef interrompu son activité professionnelle et son suivi auprès de l'ORP. La consommation d'alcool du recourant était également problématique. Depuis la fin 2012, elle était devenue chronique et excessive. Le recourant n'envisageait pas de poursuivre son suivi psychiatrique sur un mode volontaire. Bien qu'il ait collaboré avec les intervenants, il avait d'emblée essayé de remettre en cause la nécessité de leurs suivis et ne s'était pas investi pleinement. A maintes reprises, il avait répété ne plus vouloir rendre de compte à la justice, ce qui dénotait une totale absence de prise de conscience du sens et de la portée des mesures d'encadrement mises en place. Il avait fait preuve d'un seuil de tolérance relativement bas qui s'était manifesté par des accès de colère. Il avait toujours été très vague sur sa vie privée, notamment sur la relation qu'il entretenait avec ses enfants, ce qui avait inquiété fortement la FVP. Tous les intervenants s'accordaient à dire que les éléments qui précédent faisaient sérieusement craindre un nouveau passage à l'acte du recourant, avis partagé par la cour cantonale. Celle-ci a encore relevé qu'il ressortait du complément d'expertise du 23 février 2012 que le crime perpétré par le recourant s'inscrivait dans un contexte de ruptures sociale, professionnelle, sentimentale et familiale et qu'il avait été accompagné d'une consommation nocive d'alcool et d'une décompensation psychique de nature psychotique. Sans emploi, sans suivi psychiatrique, sans réelle vie familiale retrouvée et surtout avec une consommation d'alcool qui n'avait cessé d'augmenter les derniers mois, le recourant se retrouvait dans le même contexte de ruptures qu'au moment où il avait commis son crime, de sorte que le risque de récidive était extrêmement sérieux. Quand bien même l'OEP et la FVP avaient, dans un premier temps, envisagé une prolongation du délai d'épreuve de la libération conditionnelle, le recourant, qui était au courant de la procédure ouverte par le juge d'application des peines, avait sciemment décidé de quitter le territoire suisse sans en informer préalablement tous les intervenants. Il savait qu'une décision sur une éventuelle prolongation du délai d'épreuve allait être prononcée et ne pouvait dès lors ignorer de bonne foi qu'il était tenu de respecter les règles de conduite qui lui avaient été imposées. Dans ces circonstances, seule la réintégration du recourant était suffisante pour pallier le risque de passage à l'acte.
5.4. En substance, le recourant fait valoir qu'au terme du délai d'épreuve le 26 avril 2013, tous les éléments, à l'exception du voyage, dont la cour cantonale a tenu compte pour prononcer la réintégration, étaient connus de l'OEP qui n'avait requis que la prolongation de l'assistance de probation et des règles de conduite. Le juge devrait se fonder sur ce rapport (art. 95 al. 3 CP) qui ne préconise pas la réintégration. Celle-ci serait disproportionnée. Les rapports des différents intervenants sont dits « finaux », ce qui démontrerait bien que les différents intervenants considéraient qu'on était en fin de processus. La cour cantonale aurait en outre ignoré le processus de réinsertion accompli depuis le début de l'incarcération du recourant il y a douze ans. Elle aurait tenu compte du voyage du recourant alors que celui-ci s'était déroulé après la fin du délai d'épreuve ce qu'elle ne serait pas autorisée à faire. Ce voyage ne suffirait de toute façon pas à renverser le pronostic favorable posé par les différents intervenants, ni à fonder la réintégration dès lors que celle-ci n'était pas envisagée jusque-là. Dans son rapport du 17 mai 2013, l'OEP indiquait que le bilan du délai d'épreuve n'était pas entièrement favorable, ce qui signifierait que le bilan était favorable, même s'il ne l'était pas intégralement. La mesure adéquate et proportionnée serait la prolongation de l'assistance de probation et des règles de conduite.
5.5. Dans la mesure où le recourant soutient que la cour cantonale ne pouvait pas se fonder sur des éléments postérieurs au 26 avril 2013, son grief est infondé (cf. supra consid. 4.3).
Lorsque le recourant prétend que la cour cantonale aurait ignoré le processus de réinsertion débuté il y a douze ans, il introduit des faits non constatés dans l'arrêt attaqué, dont il n'établit pas qu'ils auraient été arbitrairement omis. L'argumentation du recourant qui se distancie des faits constatés est irrecevable.
Il ressort des constations cantonales qui lient la cour de céans (art. 105 al. 1 LTF) que le recourant a violé les règles de conduite, ce qu'il ne conteste pas. En particulier, il a accepté un emploi dans une école sans en informer son assistant de probation, sa consommation d'alcool est devenue chronique et excessive depuis la fin 2012, il a interrompu son activité professionnelle ainsi que son suivi psychiatrique lorsqu'il a appris l'existence de la procédure de prolongation du délai d'épreuve, alors qu'il était toujours astreint à suivre ces règles. Ces différents manquements n'ont pas été suivis d'une prise de conscience mais, bien au contraire, le recourant a annoncé son départ de Suisse et ce malgré les courriers qui lui avaient été adressés attirant son attention sur la poursuite des différentes prises en charge. A cela s'ajoute que, tout au long de ses différentes prises en charge, le recourant n'a eu de cesse de remettre en cause la nécessité de celles-ci, dénotant une absence de prise de conscience du sens et de la portée des mesures d'encadrement. Cette absence de prise de conscience se reflète également dans son refus de poursuivre un suivi psychiatrique sur un mode volontaire. Quant aux relations avec ses enfants, l'OEP et la FVP ont émis de sérieux doutes quant à la réalité de la reprise de relations régulières, le recourant restant toujours vague sur sa vie privée. L'ensemble de ces éléments qui a pour conséquence que le recourant reste livré à lui-même, sans cadre professionnel, sans suivi psychiatrique et alcoologique, sans réelle vie familiale et avec une consommation d'alcool problématique, le place dans un même contexte de ruptures que lors de la commission du crime à l'origine de sa condamnation. Ces éléments ne pouvaient que conduire la cour cantonale à poser un pronostic défavorable quant à son comportement futur, car il y avait un risque sérieux de croire qu'il allait commettre de nouvelles infractions. Le prononcé de la réintégration ne viole ainsi pas le principe de proportionnalité.
Le recourant ne peut rien tirer du fait que les rapports des différents intervenants sont dit « finaux ». En effet, ceux-ci n'ont pas de pouvoir de décision sur la prolongation du délai d'épreuve et ne peuvent que tenir compte de la fin prévue du délai d'épreuve. Bien plutôt, il ressort de ces différents rapports que chaque intervenant a préconisé la poursuite de l'intervention (cf. rapport de la FVP du 19 avril 2013; rapport de l'UEP du 24 avril 2013; rapport de l'OEP du 17 mai 2013).
Quant au fait que l'OEP n'aurait préconisé que la prolongation de l'assistance de probation et des règles de conduite, il convient de relever qu'au moment de rendre son rapport le 17 mai 2013, la situation était différente de celle soumise à la cour cantonale. Contrairement à ce qu'affirme le recourant, ce n'est pas seulement son voyage à l'étranger - élément démontrant par ailleurs son insouciance quant aux mesures ordonnées - mais bien plutôt le fait qu'il se soit placé dans une situation de ruptures en refusant de chercher un emploi, de poursuivre son traitement psychiatrique et en consommant de l'alcool de manière chronique et excessive, soit en se replaçant dans la même situation que celle qui prévalait au moment de la commission de son crime, qui justifiait sa réintégration. Sur la base de ces éléments, l'OEP a par ailleurs requis une telle mesure dans son préavis du 7 août 2013, sur lequel la cour cantonale s'est fondée conformément à l'art. 95 al. 3 CP.
La cour cantonale n'a pas violé le droit fédéral dans l'application de l'art. 95 al. 5 CP.
5.6. Le recourant conteste le prononcé de sa réintégration à titre provisoire. A l'appui de son recours, il fait valoir les mêmes arguments que dans son recours au fond contre sa réintégration. Au moment de statuer sur la réintégration à titre provisoire, la cour cantonale disposait des mêmes éléments qui ont justifié le prononcé de la réintégration au fond. Il peut, par conséquent, être renvoyé à ce qui a été retenu ci-dessus (consid. 5.5).
6.
Le recourant soutient que la cour cantonale aurait dû entrer en matière sur son grief relatif à son opposition à la transmission de son dossier au Tribunal criminel de l'arrondissement de l'Est vaudois en vue de l'examen du prononcé d'une mesure thérapeutique institutionnelle.
6.1. Aux termes de l'art. 65 al. 1 CP, si, avant ou pendant l'exécution d'une peine privative de liberté ou d'un internement au sens de l'art. 64 al. 1 CP, le condamné réunit les conditions d'une mesure thérapeutique institutionnelle prévues aux art. 59 à 61 CP, le juge peut ordonner cette mesure ultérieurement. Le juge compétent est celui qui a prononcé la peine ou ordonné l'internement. L'exécution du solde de la peine est suspendue.
La procédure de saisine du juge n'est prévue ni par le CP, ni par le CPP.
En l'espèce, la décision de saisine du tribunal criminel émane du collège des juges d'application des peines. Aux termes de l'art. 38 de la loi vaudoise du 4 juillet 2006 sur l'exécution des condamnations pénales (LEP/VD; RS/VD 340.01), les décisions rendues par le juge d'application des peines et par le collège des juges d'application des peines, ainsi que les décisions judiciaires indépendantes rendues postérieurement au jugement par le tribunal d'arrondissement et le président du tribunal d'arrondissement peuvent faire l'objet d'un recours auprès de la Chambre des recours pénale.
6.2. La violation du droit cantonal ne constitue pas un motif de recours en tant que tel (cf. art. 95 LTF). La partie recourante peut uniquement se plaindre de ce que l'application du droit cantonal par l'autorité précédente consacre une violation du droit fédéral au sens de l'art. 95 let. a LTF, en particulier qu'elle est arbitraire (art. 9 Cst.; <ref-ruling> consid. 2.2 p. 69; <ref-ruling> consid. 2.3 p. 466; <ref-ruling> consid. 1.2.1 p. 251). Le Tribunal fédéral n'examine la violation arbitraire de dispositions de droit cantonal que si ce grief a été invoqué et motivé de manière précise (art. 106 al. 2 LTF; <ref-ruling> consid. 2.2 p. 69).
6.3. En substance, la cour cantonale a relevé que les décisions rendues par le juge d'application des peines ou le collège des juges d'application des peines visées par l'art. 38 al. 1 LEP/VD devaient être des décisions au fond. Les décisions relatives à l'instruction ne pouvaient pas faire l'objet d'un recours devant la Chambre des recours pénale, à moins que celles-ci soient susceptibles de causer un préjudice irréparable. En l'occurrence, tel n'était pas le cas, dès lors que le recourant pourrait faire valoir ses griefs devant le juge du fond. Son recours contre la décision de transmettre le dossier au tribunal criminel pour examen du prononcé d'une mesure institutionnelle était irrecevable.
6.4. Le recourant ne démontre pas en quoi l'interprétation faite par la cour cantonale du droit cantonal et son appréciation dans le cas d'espèce seraient arbitraires. Il se contente d'affirmer que la saisine du tribunal criminel, tout comme la mesure thérapeutique institutionnelle, ne se justifient pas et que la cour cantonale devait entrer en matière sur ses griefs. Insuffisamment motivée au regard des exigences accrues de l'art. 106 al. 2 LTF, sa critique est irrecevable.
7.
Au vu du sort du recours, il n'y a pas lieu de se prononcer sur la demande d'indemnité du recourant pour sa détention.
8.
Les recours doivent être rejetés dans la mesure où ils sont recevables. Bien que rejetés, les recours n'étaient pas dénués de chances de succès et la situation économique du recourant justifie l'octroi de l'assistance judiciaire (art. 64 al. 1 LTF). La complexité de la cause et les intérêts en jeu permettent qu'un avocat d'office lui soit désigné et indemnisé par la caisse du tribunal (art. 64 al. 2 LTF). Il n'y a pas lieu de prélever des frais (art. 66 al. 1 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Les causes 6B_1124/2013 et 6B_71/2014 sont jointes.
2.
Les recours sont rejetés dans la mesure où ils sont recevables.
3.
Il n'est pas perçu de frais judiciaires.
4.
La demande d'assistance judiciaire du recourant est admise. Me Gilles Monnier, avocat à Lausanne, lui est désigné comme avocat d'office et une indemnité de 3'000 fr., supportée par la caisse du Tribunal fédéral, lui est allouée à titre d'honoraires.
5.
Le présent arrêt est communiqué aux parties et à la Chambre des recours pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 17 mars 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet