Faits :
A.
Par ordonnance du 17 novembre 2014, le Juge d'application des peines a libéré conditionnellement X._ au premier jour utile où son renvoi de Suisse pourrait être exécuté, mais au plus tôt le 19 novembre 2014, avec un délai d'épreuve d'une année.
B.
Par arrêt du 4 décembre 2014, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté, dans la mesure où il était recevable, le recours formé par X._.
En bref, il en ressort que X._ a été condamné à trois reprises en 2013 et 2014, pour diverses infractions, à des peines privatives de liberté respectivement de 30 jours, 40 jours et 16 mois. Il doit également exécuter 5 jours-amende convertis en peine privative de liberté. Il a été détenu provisoirement depuis le 29 novembre 2013, puis est passé en régime d'exécution de peine depuis le 2 mai 2014. Il a atteint les deux tiers du cumul des peines le 19 novembre 2014.
L'Office fédéral des migrations a, le 15 août 2013, rendu une décision de non-entrée en matière sur la demande d'autorisation de séjour par regroupement familial de X._ et prononcé son renvoi. Cette décision est entrée en force le 2 septembre 2013. Le Service de la population et des étrangers a indiqué, dans un courrier du 10 août 2014, que X._ ne disposait d'aucun droit de séjour ou d'établissement en Suisse et n'était pas autorisé à y séjourner à sa sortie de détention. Des démarches étaient en cours avec la Tunisie pour obtenir un laissez-passer dès lors qu'il ne disposait que d'un passeport dont la validité était arrivée à échéance.
C.
X._ forme un recours en matière pénale contre l'arrêt du 4 décembre 2014 et conclut à sa réforme en ce sens qu'il doit exécuter l'entier de sa peine.

Considérant en droit :
1.
Aux termes de l'<ref-law>, a qualité pour former un recours en matière pénale quiconque a pris part à la procédure devant l'autorité précédente (...) et a un intérêt juridique à l'annulation ou à la modification de la décision attaquée, soit en particulier l'accusé (let. a et b ch. 1). Les deux conditions sont cumulatives. La liste est exemplative et les personnes qui y sont énumérées doivent établir, dans chaque cas concret, leur intérêt juridique (<ref-ruling> consid. 1.1 p. 123). Un intérêt général ou de fait ne suffit pas, l'intéressé devant au surplus être personnellement touché par la décision attaquée (<ref-ruling> consid. 1.2 p. 124). Le recourant doit avoir été affecté dans des intérêts que la norme prétendument violée a pour but de protéger (arrêt 1B_376/2013 du 18 novembre 2013 consid. 3).
En l'occurrence, le recourant demande à exécuter sa sanction jusqu'à son terme. Il n'expose pas en quoi consisterait son intérêt et on peine à le distinguer. La recevabilité du recours apparaît ainsi douteuse. Cette question souffre toutefois de demeurer indécise, le recours étant de toute manière infondé, dans la mesure où il est recevable, pour les motifs suivants.
2.
Le recourant fait grief à la cour cantonale d'avoir arbitrairement établi les faits.
2.1. Le Tribunal fédéral est lié par les faits retenus par l'arrêt entrepris (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire (art. 9 Cst.; sur cette notion v. <ref-ruling> consid. 6.1 p. 205) dans la constatation des faits. Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.2 p. 69). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2.3 p. 5).
2.2. Le recourant reproche à la cour cantonale de ne pas avoir retenu qu'il était père de trois enfants. Toutefois, il ressort de l'arrêt entrepris (consid. B/b, p. 4) que le recourant a fait état du fait qu'il était père de trois enfants lors de l'audience devant le Juge d'application des peines. Pour le surplus, le recourant ne démontre pas en quoi la cour cantonale aurait ignoré cet élément. Insuffisamment motivé, son grief est irrecevable.
3.
Le recourant se plaint d'une violation de son droit d'être entendu et de l'art. 8 CEDH.
3.1. Le droit d'être entendu, garanti par l'art. 29 al. 2 Cst., implique notamment pour l'autorité l'obligation de motiver sa décision, afin que le destinataire puisse la comprendre, l'attaquer utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle. Pour répondre à ces exigences, il suffit que l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 5.1 p. 237; <ref-ruling> consid. 4.2 p. 355; <ref-ruling> consid. 4.1 p. 88). Il n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (ATF <ref-ruling> consid. 4.1 p. 88; <ref-ruling> consid. 3.3 p. 445). La motivation peut pour le reste être implicite et résulter des différents considérants de la décision (arrêt 6B_101/2011 du 14 février 2012 consid. 3.1).
3.2. Le recourant fait grief à la cour cantonale de ne pas s'être prononcée sur son grief relatif à une violation de l'art. 8 CEDH. Cette disposition, qui protège le droit au respect de la vie familiale, serait violée dès lors que le renvoi du recourant dans son pays l'empêcherait d'entretenir des relations avec ses enfants.
3.3. Il ressort de l'arrêt attaqué que le recourant a fait l'objet, sur le plan administratif, d'une décision, rendue le 15 août 2013, de non-entrée en matière concernant la demande d'autorisation de séjour par regroupement familial et de renvoi, décision entrée en force le 2 septembre 2013. Contrairement à ce que paraît soutenir le recourant, il n'a pas fait l'objet d'une décision d'expulsion pénale - au demeurant supprimée du code pénal depuis le 1 er janvier 2007 - mais d'une décision administrative, entrée en force, à la suite de laquelle il n'est plus autorisé à séjourner en Suisse. Dès lors, les autorités cantonales, en ordonnant la libération conditionnelle du recourant au jour de son renvoi, n'ont pas statué sur son expulsion. Elles n'ont fait que prendre acte de l'existence d'une décision définitive sur la question du statut juridique du recourant en Suisse et n'avaient par conséquent pas à examiner si ce renvoi violait ou non l'art. 8 CEDH. Il incombait au recourant de faire valoir ses arguments devant les autorités administratives, seules à même de statuer sur son droit à séjourner en Suisse. La cour cantonale n'a dès lors pas violé le droit d'être entendu du recourant en n'examinant pas expressément son grief sur lequel elle n'avait pas le pouvoir de statuer.
3.4. Pour le surplus, le recourant ne discute pas de la motivation de l'arrêt attaqué et ne formule de la sorte aucun grief recevable au regard de l'<ref-law> tiré de l'application erronée des dispositions relatives à la libération conditionnelle. Il n'y a dès lors pas lieu d'examiner cette question.
4.
Le recours doit être rejeté dans la mesure où il est recevable. Il était d'emblée dénué de chances de succès. L'assistance judiciaire doit être refusée (<ref-law>). Le recourant supporte les frais de la cause, qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Chambre des recours pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 5 février 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Livet