Faits :
A.
Par jugement du 9 septembre 2019, la Cour d'appel pénale du Tribunal cantonal vaudois a condamné A._ à 24 mois de peine privative de liberté pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, violence ou menace contre les autorités et les fonctionnaires, infraction à la loi fédérale sur les étrangers, contravention à la loi fédérale sur les stupéfiants et contravention à la loi fédérale sur le transport de voyageurs.
Par jugement du 2 juin 2020, le Tribunal de police de l'arrondissement de La Côte a condamné A._ à 30 jours de peine privative de liberté pour injure, séjour illégal et exercice d'une activité lucrative sans autorisation.
A._ a également été condamné à 5 jours de peine privative de liberté de substitution pour non-paiement de diverses amendes.
B.
Par ordre d'exécution de peine du 24 juillet 2020, l'Office d'exécution des peines du canton de Vaud (ci-après: l'OEP) a sommé A._ de se présenter le 19 novembre 2020 à la prison B._ pour exécuter les peines privatives de liberté susmentionnées.
Par ordre d'exécution de peine immédiate du 5 novembre 2020, l'OEP a ordonné l'arrestation immédiate de A._ et l'exécution des peines en question, en faisant valoir des risques de fuite et de récidive.
C.
Par lettre du 5 novembre 2020 adressée à l'OEP, reçue le 13 novembre 2020 par cette autorité, puis transmise à la Chambre des recours pénale du Tribunal cantonal vaudois, A._ a contesté l'ordre d'exécution de peine immédiate du 5 novembre 2020 au motif que celui-ci portait atteinte à sa personne, à sa femme et à ses enfants. Il a expliqué avoir eu un différend avec le concierge de son immeuble et qu'il contestait la plainte pénale que ce dernier avait déposée contre lui. Il critiquait en outre les agissements de la police.
Par lettre non datée adressée au Ministère public de l'arrondissement de La Côte, reçue le 12 novembre 2020 par cette autorité, puis transmise à l'OEP et à la Chambre des recours pénale du Tribunal cantonal vaudois par la suite, A._ a sollicité l'annulation de l'ordre d'exécution de peine immédiate du 5 novembre 2020, en faisant valoir l'absence de tout risque de fuite, dès lors que son épouse, ses sept enfants et lui habitaient en Suisse depuis plusieurs années. Contestant la plainte pénale déposée contre lui par le concierge de son immeuble, il invoquait la présomption d'innocence et l'absence de tout risque de récidive. Il se plaignait par ailleurs de ses conditions de détention.
Par lettre du 6 novembre 2020 adressée au Ministère public de l'arrondissement de La Côte, reçue le 13 novembre 2020 par l'OEP, puis transmise à la Chambre des recours pénale du Tribunal cantonal vaudois, A._ a contesté la plainte pénale déposée contre lui par le concierge de son immeuble, en précisant que celui-ci l'aurait insulté et aurait menacé de le découper à la hache. Il s'est également plaint de ses conditions de détention. Dans une autre missive non datée, reçue également le 13 novembre 2020 par l'OEP et transmise par la suite à la Cour cantonale, A._ s'est adressé à son épouse en lui expliquant qu'il allait bien et qu'elle devait déposer plainte pour "toutes les exactions policières et sociales" que sa famille aurait subies.
D.
Par arrêt du 20 novembre 2020, la Chambre des recours pénale du Tribunal cantonal vaudois a déclaré sans objet le recours formé par A._ contre l'ordre d'arrestation immédiate du 5 novembre 2020 et a rayé la cause du rôle.
La cour cantonale a relevé en substance que A._ contestait avoir commis tout acte répréhensible au cours de son altercation avec le concierge de son immeuble. C'était selon lui à tort que cet incident avait provoqué son arrestation le 5 novembre 2020 et, par conséquent, l'ordre d'exécution immédiate de ses peines privatives de liberté avant la date fixée initialement par l'OEP au 19 novembre 2020 et concluait à sa libération.
La cour cantonale a toutefois considéré que, dans la mesure où A._ ne contestait pas devoir exécuter les peines en cause, mais uniquement le fait d'avoir débuté leur exécution de manière anticipée, et qu'à la date où elle avait statué, la date prévue initialement était passée, il y avait lieu de constater que le recours de A._ était devenu sans objet et de rayer la cause du rôle.
E.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt précité. Il conclut, avec suite de frais et dépens, principalement, à l'annulation et à la mise à néant dudit arrêt et à ce que sa libération immédiate soit prononcée jusqu'à ce que la détention auprès d'un établissement d'exécution de peine puisse dûment être organisée, subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente. Il sollicite également le bénéfice de l'assistance judiciaire.
Sa demande d'effet suspensif a été rejetée par ordonnance incidente du 8 janvier 2021.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office (<ref-law>) et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2 p. 188; <ref-ruling> consid. 1 p. 358).
1.1. Aux termes de l'<ref-law>, sont notamment sujettes au recours en matière pénale les décisions sur l'exécution de peines et de mesures.
1.2. Selon l'<ref-law>, a qualité pour former un recours en matière pénale quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let. a) et a un intérêt juridique à l'annulation ou à la modification de la décision attaquée (let. b).
De jurisprudence constante, cet intérêt doit être actuel et pratique. De cette manière, les tribunaux sont assurés de trancher uniquement des questions concrètes et non de prendre des décisions à caractère théorique, ce qui répond à un souci d'économie de procédure (<ref-ruling> consid. 2.3.1 p. 84 s.; <ref-ruling> consid. 1.3.1 p. 77; <ref-ruling> consid. 1.3 p. 276). Ainsi, l'existence d'un intérêt de pur fait ou la simple perspective d'un intérêt juridique futur ne suffit pas (<ref-ruling> consid. 2.3.1 p. 85). En vertu de l'<ref-law>, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir (<ref-ruling> consid. 2.3 p. 287; <ref-ruling> consid. 1.1 p. 4).
Le Tribunal fédéral fait exceptionnellement abstraction de l'exigence d'un intérêt actuel, lorsque la contestation peut se reproduire en tout temps dans des circonstances identiques ou analogues, que sa nature ne permet pas de la trancher avant qu'elle perde son actualité et que, en raison de sa portée de principe, il existe un intérêt public suffisamment important à la solution de la question litigieuse (<ref-ruling> consid. 1.3.1 p. 143; <ref-ruling> consid. 1.3.3 p. 78; <ref-ruling> consid. 1.1 p. 208). Une telle exception doit être appréhendée restrictivement (cf. <ref-ruling> consid. 1.2 p. 479) et il incombe au recourant d'exposer en quoi l'affaire remplit cette exigence (<ref-law>). En outre, dans des circonstances particulières, le Tribunal fédéral entre aussi en matière, en dépit de la disparition d'un intérêt actuel, sur le recours d'une personne qui formule de manière défendable un grief de violation manifeste de la CEDH; cela suppose une obligation de motivation accrue comparable à celle qui est prévue à l'<ref-law> (<ref-ruling> consid. 4.3.1 et 4.3.4 p. 299 ss; <ref-ruling> consid. 1.3 p. 276; cf. encore récemment: arrêts 6B_445/2020 du 29 juin 2020 consid. 1.2; 6B_955/2018 du 9 novembre 2018 consid. 1.2).
1.3. En l'espèce, il ressort de l'arrêt attaqué (cf. supra D) que le recourant ne contestait pas en soi devoir exécuter les peines privatives de liberté auxquelles il a été condamné, mais uniquement le fait d'avoir débuté leur exécution de manière anticipée. Il est constant, à cet égard, que le recourant devait en tout état de cause exécuter ses peines à compter du 19 novembre 2020. Dans cette mesure, on ne discerne pas en quoi ce dernier disposerait toujours d'un intérêt actuel et pratique à recourir. Pour la même raison, les irrégularités dont il se prévaut ne sauraient entraîner sa mise en liberté immédiate et les conclusions principales qu'il formule en ce sens sont irrecevables. Le seul fait d'invoquer son lieu de détention, à savoir la prison C._, ne permet pas non plus, en soi, d'admettre l'existence d'un intérêt actuel à recourir. Le recourant échoue qui plus est à démontrer à satisfaction de droit (cf. art. 42 al. 2 et 106 al. 2 LTF) en quoi il y aurait lieu de prendre en compte des circonstances particulières, s'agissant d'une question de principe ou d'une violation manifeste de la CEDH, auxquelles la jurisprudence subordonne la possibilité de faire abstraction de l'exigence d'intérêt actuel. On relèvera encore que le recourant ne formule aucune conclusion ayant pour objet de faire constater l'éventuelle illicéité de son incarcération antérieure au 19 novembre 2020 ou de ses conditions de détentions. Il en découle que le recourant ne dispose pas de la qualité pour recourir.
2.
Le recours est irrecevable. Comme il était dénué de chance de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Il peut être exceptionnellement renoncé à percevoir des frais judiciaires.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Il n'est pas perçu de frais judiciaires.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 22 février 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
Le Greffier : Dyens