Faits :
A.
Par jugement du 5 septembre 2017, entré en force, le Tribunal de police de l'arrondissement de l'Est vaudois a notamment condamné A._, ressortissant portugais, né en 1955, à une peine privative de liberté de douze mois.
Par décision du 5 février 2019, l'Office d'exécution des peines (ci-après: l'OEP) a refusé de mettre A._ au bénéfice du régime de la semi-détention ou de celui de la surveillance électronique. Il était sommé de se présenter le 7 février 2019 aux Établissements de la Plaine de l'Orbe (ci-après: les EPO) pour exécuter sa peine. Le recours formé par A._ contre cette décision a été rejeté par la Chambre des recours pénale du Tribunal cantonal vaudois par arrêt du 9 juillet 2019.
Le 4 juillet 2020, l'OEP a émis un nouvel ordre d'exécution de peine sommant A._ de se présenter le 10 décembre 2020 aux EPO. Par courrier du 29 octobre 2020, ce dernier a requis une nouvelle fois de pouvoir exécuter sa peine sous le régime du bracelet électronique.
Par décision du 24 novembre 2020, interprétant la requête précitée comme une demande de réexamen de sa décision du 5 février 2019, l'OEP a refusé d'entrer en matière sur cette dernière. L'office concerné a en particulier considéré que le certificat médical produit et les allégations qui s'y rapportaient ne constituaient pas une modification notable de l'état de fait à la base de sa décision précédente et que l'état de santé de A._ n'était pas incompatible avec l'exécution de sa peine en milieu carcéral. L'OEP concluait sa décision en précisant que l'ordre d'exécution du 4 juillet 2020, le sommant de se présenter aux EPO le 10 décembre 2020, était maintenu. La Chambre des recours pénale du Tribunal cantonal vaudois a confirmé la décision de l'OEP du 24 novembre 2020 par arrêt du 9 décembre 2020.
Malgré cet arrêt, A._ ne s'est pas présenté le 10 décembre aux EPO et a déposé, à cette date, une requête, par l'intermédiaire de son conseil, tendant à ce que l'exécution de sa peine soit repoussée, ou qu'il puisse exécuter celle-ci sous le régime de la surveillance électronique.
L'OEP a refusé d'entrer en matière sur cette nouvelle demande de réexamen par décision du 18 décembre 2020.
Par courrier du 6 janvier 2021, le conseil de A._ a informé l'OEP que son client souhaitait exécuter dès que possible sa peine privative de liberté, et a sollicité de pouvoir convenir d'une date. L'OEP a exceptionnellement renoncé à délivrer contre lui un mandat d'arrêt et lui a adressé, en date du 15 janvier 2021, un ordre d'exécution de peine, le sommant de se présenter le 8 février suivant à la prison de La Croisée afin de purger sa peine.
B.
Le 4 février 2021, agissant par un autre conseil, A._ a requis le report de l'exécution de sa peine.
Interprétant cette requête comme une demande de réexamen de sa décision du 18 décembre 2020, l'OEP l'a rejeté par décision du 5 février 2021 et a ainsi maintenu l'ordre d'exécution de peine du 15 janvier précédent, telle qu'elle sommait A._ de se présenter à la Prison de la Croisée le 8 février 2021.
C.
Par arrêt du 30 mars 2021, la Chambre des recours pénale du Tribunal cantonal vaudois a déclaré irrecevable le recours déposé par A._ contre la décision rendue par l'OEP le 5 février 2021.
D.
Par acte daté du 11 mai 2021, agissant seul, A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt précité. Il conclut à l'annulation de l'arrêt attaqué et à ce que "[s]a détention [soit] reportée jusqu'à ce que le risque de contagion par le Covid soit levé." Il requiert que l'effet suspensif lui soit accordé et sollicite également le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Selon l'art. 78 al. 2 let. b LTF, les décisions sur l'exécution des peines et des mesures peuvent faire l'objet d'un recours en matière pénale.
2.
Nonobstant le caractère très succinct de son mémoire, on comprend que le recourant reproche à la cour cantonale d'avoir déclaré son recours irrecevable pour défaut de motivation, ce qui revient à invoquer une violation de l'art. 385 CPP. La question souffre cependant de rester indécise, compte tenu de ce qui suit.
3.
Sur le fond, le recourant se plaint du refus d'ajourner l'exécution de sa peine.
3.1. Selon la jurisprudence, l'ajournement de l'exécution d'une peine s'assimile dans ses motifs à l'interruption de son exécution prévue par l'art. 92 CP (arrêt 6B_511/2013 du 17 septembre 2013 consid. 2.1 et les références citées). Selon cette disposition, l'exécution des peines et des mesures peut être interrompue pour un motif grave.
Même lorsque le droit cantonal ne réglemente pas expressément l'ajournement de l'exécution d'une peine privative de liberté, le condamné a la possibilité de présenter une demande en ce sens. La décision relève de l'appréciation et l'intéressé n'a pas de droit inconditionnel à l'ajournement. Parallèlement, l'intérêt public à l'exécution des peines entrées en force ainsi que le principe d'égalité de traitement restreignent considérablement le pouvoir d'appréciation des autorités appelées à statuer sur une telle demande. Ainsi, la seule éventualité qu'une personne condamnée puisse être atteinte dans sa vie ou sa santé ne justifie-t-elle pas encore que l'entrée en exécution soit renvoyée sine die. Encore faut-il que de telles atteintes apparaissent comme la conséquence très probable de l'entrée en exécution. Et même dans cette hypothèse, il y a lieu d'apprécier le poids respectif des intérêts privés et publics en considérant, singulièrement, outre les aspects médicaux, le type et la gravité des faits pour lesquels l'intéressé a été condamné ainsi que la durée de la peine à exécuter (arrêt 6B_930/2019 du 24 septembre 2019 consid. 4.1 et les références citées).
L'exécution de la peine ne peut être différée pour une durée indéterminée que dans des circonstances tout à fait exceptionnelles. Le pouvoir d'appréciation de l'autorité d'exécution est limité par l'intérêt de la société à l'exécution des peines et par le principe de l'égalité dans la répression (<ref-ruling> consid. 2c p. 71; arrêt 6B_511/2013 précité consid. 2.1). L'exécution de la peine ne peut en principe être interrompue que si le condamné se trouve, pour une période indéterminée, ou à tout le moins pour une certaine durée, incapable de subir l'exécution de sa peine pour des motifs très sérieux de santé (<ref-ruling> consid. 5.1 p. 101 et les références citées). Le motif médical invoqué est toujours grave si la poursuite de l'exécution met concrètement en danger la vie du condamné. Dans les autres cas, la gravité requise peut être atteinte si la poursuite de l'exécution, sans menacer directement la vie du condamné, fait néanmoins courir un risque sérieux pour sa santé (<ref-ruling> consid. 5.1 p. 102). Le report de l'exécution de la peine pour une durée indéterminée ne doit être admis qu'avec une grande retenue. La simple éventualité d'un danger pour la vie ou la santé ne suffit manifestement pas à le justifier. Il faut qu'il apparaisse hautement probable que l'exécution de la peine mettra en danger la vie ou la santé de l'intéressé (<ref-ruling> consid. 2c p. 71/72; arrêt 6B_511/2011 précité consid. 2.1).
Le Tribunal fédéral a par ailleurs considéré, en matière de détention provisoire ou pour des motifs de sûretés, que la pandémie de coronavirus ne faisait pas obstacle à une telle forme de détention, pour autant que les lignes directrices de l'Organisation Mondiale de la Santé sur la lutte contre la pandémie et les mesures et recommandations de l'Office fédéral de la santé publique en la matière soient respectées (arrêts 1B_1/2021 du 21 janvier 2021 consid. 3; 1B_220/2020 du 26 mai 2020 consid. 5.3). Cette jurisprudence est en principe transposable en matière d'exécution de peines.
3.2. En l'espèce, il ressort du dossier que la condamnation du recourant à une peine privative de 12 mois par jugement du Tribunal de police de l'arrondissement de l'Est vaudois du 5 septembre 2017 repose notamment sur un verdict de culpabilité pour escroquerie par métier et tentative d'escroquerie par métier. Les qualifications en cause, ainsi que la quotité de la peine infligée, ne sont donc pas négligeables, loin s'en faut. De surcroît, la condamnation dont il retourne remonte à plus de trois an demi et le recourant n'a toujours pas purgé sa peine.
Cela étant, il ressort de l'arrêt attaqué que l'OEP a, dans sa décision du 5 février 2021, accepté d'entrer en matière sur sa demande de réexamen, dans la mesure où le recourant faisait valoir l'apparition de nouveaux variants du coronavirus dont le degré de contagion apparaissait plus élevé. L'OEP a cependant relevé que le certificat médical, établi le 4 février 2021, qu'il avait produit, ne stipulait pas qu'il était inapte à exécuter sa peine et en a déduit que la condition relative aux motifs très sérieux de santé n'était pas remplie. Dit office a également indiqué que la Prison de la Croisée disposait d'un service médical d'ores et déjà informé du certificat médical précité et que des mesures sanitaires strictes étaient scrupuleusement appliquées. L'OEP avait finalement retenu que le comportement du condamné tendait à démontrer sa volonté de se soustraire à l'exécution de sa peine et a donc refusé de la reporter.
Devant le Tribunal fédéral, le recourant se contente, en substance, de revenir de manière générale sur les risques liés à son état de santé et à la situation sanitaire actuelle. Les cas de contamination en milieu carcéral auxquels le recourant se réfère en produisant un article de presse remontent au mois de septembre et de décembre 2020. S'il soutient ne pas encore être vacciné et ne pas savoir si son état de santé lui permet la vaccination, il n'établit pas pour autant, certificat médical à l'appui, qu'il n'y aurait pas accès. En définitive, rien dans ce qu'avance le recourant ne permet de considérer que les autorités vaudoises auraient abusé de leur pouvoir d'appréciation dans le cas d'espèce, a fortiori dans la mesure où la jurisprudence insiste sur le caractère drastique des conditions à remplir pour admettre un report sine die d'une exécution de peine. Mal fondé, les griefs du recourant doivent ainsi être rejetés dans la mesure de leur recevabilité.
4.
Le recours doit être rejeté dans la mesure de sa recevabilité. Comme ses conclusions étaient d'emblée vouées à l'échec, l'assistance judiciaire ne peut être accordée (art. 64 al. 1 LTF). Le recourant devra donc supporter les frais judiciaires, dont le montant sera toutefois fixé en tenant compte de sa situation (art. 65 al. 1 et 66 al. 1 LTF). La cause étant jugée, la requête d'effet suspensif se trouve privée d'objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale. Il est également adressé en copie à l'Office d'exécution des peines du canton de Vaud, pour information.
Lausanne, le 20 mai 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
Le Greffier : Dyens