Faits :
A.
Par jugement du 13 décembre 2017, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a, notamment, condamné A._ pour escroquerie par métier, violation de l'obligation de tenir une comptabilité, tentative de contrainte, faux dans les titres, faux dans les certificats, conduite sans autorisation et infraction à la LEtr (Loi fédérale sur les étrangers du 16 décembre 2005; RS 142.00), à une peine privative de liberté de 18 mois, peine partiellement complémentaire à celles prononcées le 9 juillet 2010 par la Cour correctionnelle de Genève et le 7 mars 2013 par la Chambre pénale d'appel et de révision de Genève. Il a en outre ordonné que A._ soit soumis à un traitement psychiatrique ambulatoire et a révoqué les sursis accordés au prénommé les 9 juillet 2010 et 7 mars 2013 et le 22 octobre 2014 par le Tribunal cantonal de Neuchâtel et ordonné l'exécution des peines y relatives, respectivement de leur solde.
En cours d'enquête, A._ a été soumis à une expertise psychiatrique. Dans leur rapport du 8 juillet 2016, les médecins du secteur psychiatrique de l'Est vaudois ont en substance posé le diagnostique de trouble délirant persistant, sans symptômes dépressifs. Ils ont notamment relevé chez l'expertisé un mécanisme interprétatif avec des thèmes de revendication, de persécution, notamment envers la justice, et mégalomaniaques. Chez l'intéressé, la structure des idées était généralement systématisée, mais par moments, cette structure était non systématisée et en conséquence incompréhensible. En outre, à dires d'experts toujours, les mécanismes de défenses prépondérants étaient la dénégation, la projection et l'inversion, ce qui signifiait que l'expertisé ne prenait pas en compte des éléments permettant une critique objective, l'expertisé inversant ses points faibles en hypertrophie du moi. Le risque de récidive était décrit comme élevé, dans la mesure où l'intéressé n'avait aucune capacité d'introspection. Les experts ont dès lors préconisé un traitement psychiatrique ambulatoire pour permettre une stabilisation et atténuer, dans une certaine mesure, le danger de récidive, avec introduction de médicaments psychotropes. Ils ont en outre retenu une faible diminution de la capacité de l'expertisé à se déterminer d'après l'appréciation du caractère illicite de ses actes, cette dernière faculté étant conservée. Les médecins ont estimé que le risque de récidive, élevé, pouvait être atténué par des soins sur le long terme, à savoir un traitement médicamenteux, psychothérapeutique ainsi qu'un accompagnement social. Ils ont précisé que ce traitement était indispensable et devait être ordonné, dans la mesure où il était douteux que l'expertisé, compte tenu de son manque d'introspection, de ses idées délirantes et de ses mécanismes de défense, le suive volontairement.
B.
Par jugement du 20 août 2018, la Cour d'appel pénale du Tribunal cantonal vaudois a admis très partiellement l'appel interjeté par A._ contre le jugement précité et a notamment modifié son dispositif, en ce sens que A._ était condamné pour escroquerie par métier, violation de l'obligation de tenir une comptabilité, tentative de contrainte, faux dans les titres, conduite sans autorisation et infraction à la Loi fédérale sur les étrangers (incitation à l'entrée), à une peine privative de liberté de 18 mois, peine partiellement complémentaire à celles prononcées le 9 juillet 2010 par la Cour correctionnelle de Genève et le 7 mars 2013 par la Chambre pénale d'appel et de révision.
Ce jugement d'appel retenait notamment que A._ souffrait d'un trouble délirant persistant et que ce trouble se trouvait en relation avec les actes punissables commis. Les experts avaient en substance relevé que son état mental nécessitait un traitement psychiatrique ambulatoire, sous la forme d'une prise en charge médicale, psychothérapeutique et médicamenteuse, afin de permettre une stabilisation de son état et d'atténuer, dans une certaine mesure, le danger de récidive, qualifié d'élevé. Un traitement ambulatoire, à mettre en oeuvre sur le long terme, était indispensable et devait être ordonné. Les premiers juges avaient mentionné que les symptômes délirants avaient pu être observés aux débats de première instance. Son discours s'était avéré logorrhéique et parfois incompréhensible. En appel, il avait été constaté que A._ se lançait dans des explications alambiquées et peu compréhensibles, qu'il était difficile d'interrompre. Il avait ainsi été jugé que les premiers juges avaient à juste titre ordonné un traitement ambulatoire au sens de l'<ref-law>, sous la forme de la poursuite du traitement initié par ce dernier.
S'agissant des modalités d'exécution de la peine et de la mesure, les juges d'appel ont suivi l'appréciation des premiers juges, qui s'étaient écartés des conclusions de l'expertise psychiatrique, dont il ressortait que le traitement ambulatoire préconisé serait entravé dans son application et dans son acceptation si l'exécution d'une peine privative de liberté était prononcée. Outre le fait que, selon la jurisprudence, le traitement ambulatoire devait en principe être suivi pendant l'exécution de la peine, le traitement préconisé ne constituait pas un traitement immédiat qui pouvait offrir relativement rapidement de bonnes chances de réinsertion, mais impliquait des soins psychiatriques sur le long termes. Les perspectives de succès du traitement ambulatoire étaient, à ce stade, loin d'être évidentes. Bien que l'intéressé eût entamé un suivi psychiatrique en été 2017, il avait persisté à affirmer, devant les premiers juges, qu'il n'avait pas de problème médical, mais qu'il présentait une restructuration de la pensée, ne nécessitant pas de traitement médicamenteux. En appel, il avait certes admis avoir un problème, mais avait déclaré ne pas prendre de médicaments - ceux-ci ne pouvait pas résoudre son problème de structure de la pensée -, qu'il ne comprenait pas vraiment le diagnostic posé par les experts et qu'il voulait qu'on lui précise de quel problème il s'agissait et comment le résoudre. Il n'avait pour le reste fait état d'aucun élément concret en relation avec son suivi d'alors. De surcroît, le certificat du 9 août 2018 qu'il avait produit en appel mentionnait seulement qu'il poursuivait son suivi médical à raison d'entretiens mensuels depuis le 27 juin 2017. Il ne fournissait aucune information sur l'évolution du suivi psychiatrique et ne faisait état d'aucune ébauche de prise de conscience de sa part. Enfin, dans le cas d'espèce, au vu du nombre d'infractions commises, des antécédents de l'intéressé et du risque élevé de récidive, l'exécution de la peine privative de liberté s'imposait pour des raisons de prévention spéciale et pour des impératifs de sécurité public. Il n'y avait donc pas lieu de suspendre l'exécution de la peine privative de liberté.
Le jugement d'appel en question est entré en force.
C.
Par arrêt du 27 mars 2020, entré en force également, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par A._ contre la décision du 28 février 2020 de l'Office d'exécution des peines (ci-après: l'OEP) ordonnant l'exécution du traitement ambulatoire prononcé par la Cour d'appel pénale dans son jugement susmentionné.
D.
A._ est détenu aux Établissements de la Plaine de l'Orbe. Son traitement est dispensé sous l'égide du Service de médecine et psychiatrie pénitentiaire (SMPP).
Dans un rapport du 27 octobre 2020, le SMPP a relevé que le condamné s'investissait dans son suivi et que l'alliance thérapeutique était bonne.
E.
Par décision du 5 mars 2021, l'OEP a ordonné la poursuite du traitement ambulatoire au sens de l'<ref-law> prononcé le 20 août 2018 par la Cour d'appel pénale.
L'OEP a considéré que les objectifs de la mesure n'avaient pas encore été atteints et que le travail thérapeutique entamé n'en était qu'à ses prémices. Elle en a déduit que le traitement avait tout lieu d'être poursuivi afin d'offrir au condamné un cadre thérapeutique et d'éviter tout risque de récidive.
F.
Par arrêt du 6 avril 2021, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours de A._ contre la décision rendue par l'OEP en date du 5 mars 2021, qu'elle a confirmée.
G.
Par acte daté du 21 mai 2021, reçu par la Cour de céans le 27 mai suivant, A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt de la Chambre des recours pénale du 6 avril 2021. Il conclut, en substance, à la réforme de l'arrêt attaqué, en ce sens que la décision rendue par l'OEP le 5 mars 2021 est annulée et le traitement ambulatoire levé. Il sollicite en outre l'octroi de l'effet suspensif et le bénéfice de l'assistance judiciaire, y compris la désignation d'un conseil.

Considérant en droit :
1.
La décision querellée a trait à l'exécution d'un traitement ambulatoire (<ref-law>). La voie du recours en matière pénale au Tribunal fédéral est ouverte quant à l'objet du recours (<ref-law>).
2.
Invoquant une violation de différentes garanties constitutionnelles et conventionnelles (art. 9, 10, 27, 31, 32 et 36 Cst.; art. 5 et 6 CEDH), dont le droit d'être entendu (art. 29 al. 2 Cst.), ainsi qu'une violation des art. 63 et 63a CP, le recourant fait grief à la cour cantonale d'avoir confirmé la décision de l'OEP ordonnant la poursuite de son traitement ambulatoire.
2.1. Selon l'<ref-law>, lorsque l'auteur souffre d'un grave trouble mental, est toxico-dépendant ou qu'il souffre d'une autre addiction, le juge peut ordonner un traitement ambulatoire au lieu d'un traitement institutionnel, si l'auteur a commis un acte punissable en relation avec son état (let. a) et s'il est à prévoir que ce traitement le détournera de nouvelles infractions en relation avec son état (let. b). Si la peine est compatible avec le traitement, ils sont exécutés en même temps (<ref-law> a contrario; arrêt 6B_156/2019 du 27 juin 2019 consid. 2.1.1 non publié aux <ref-ruling>). A teneur de l'<ref-law>, le traitement ambulatoire ne peut en règle générale excéder cinq ans. Si, à l'expiration de la durée maximale, il paraît nécessaire de le poursuivre pour détourner l'auteur d'autres crimes ou délits en relation avec son trouble mental, le juge peut, à la requête de l'autorité d'exécution, le prolonger de un à cinq ans à chaque fois. La mesure ne prend pas fin avec l'écoulement du temps, mais dure en principe le temps nécessaire pour que son but soit atteint ou jusqu'à ce qu'il paraisse exclu qu'il puisse l'être (<ref-ruling> consid. 2.2 p. 447; <ref-ruling> consid. 3.5 p. 240; <ref-ruling> consid. 2.1 p. 51 s.).
D'après l'<ref-law>, l'autorité compétente vérifie au moins une fois par an s'il y a lieu de poursuivre le traitement ambulatoire ou de l'arrêter. Au préalable, elle entend l'auteur et demande un rapport à la personne chargée du traitement. L'<ref-law> précise pour sa part que l'autorité compétente ordonne l'arrêt du traitement ambulatoire lorsque celui-ci s'est achevé avec succès (let. a), si sa poursuite paraît vouée à l'échec (let. b) ou à l'expiration de la durée légale maximale du traitement des personnes dépendantes de l'alcool, de stupéfiants ou de médicaments (let. c).
2.2. Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst. (cf. aussi art. 6 par. 1 CEDH), englobe notamment, pour le justiciable, le droit de s'exprimer sur les éléments pertinents avant qu'une décision soit prise touchant sa situation juridique (<ref-ruling> consid. 3.1.1 p. 221; <ref-ruling> consid. 7.2.2.1 p. 103; <ref-ruling> consid. 5.3 p. 17; <ref-ruling> consid. 4.1 p. 72; <ref-ruling> consid. 2.3 p. 222; <ref-ruling> consid. 6.3.1 p. 299). Le droit d'être entendu implique aussi, pour l'autorité, l'obligation de motiver sa décision, afin que le destinataire puisse la comprendre, l'attaquer utilement s'il y a lieu et afin que l'autorité de recours puisse exercer son contrôle. Le juge doit ainsi mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 3.4.3 p. 46; <ref-ruling> consid. 2.1 p. 145). Il n'est pas tenu de discuter tous les arguments soulevés par les parties, mais peut se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 4.2 p. 157; <ref-ruling> consid. 2.2 p. 183).
2.3. En l'espèce, la cour cantonale a tout d'abord rappelé que le traitement ambulatoire dispensé au recourant sous l'égide du SMPP, assuré à raison d'un suivi d'une fréquence mensuelle, n'en était qu'à ses prémices, puisqu'il n'a débuté qu'en 2020. La cour cantonale a de surcroît fait sienne l'appréciation de l'OEP selon laquelle les objectifs de la mesure n'étaient pas encore atteints, relevant notamment que le rapport du 27 octobre 2020 du SMPP ne comportait, malgré certains aspects encourageants, aucun élément permettant de retenir que l'objectif de pallier le risque de récidive était réalisé. La cour cantonale a également relevé que le rapport en question n'indiquait pas que la symptomatologie, mise en évidence par les experts dans leur rapport du 8 juillet 2016 (cf. supra A) - qui impliquait un risque de récidive -, était en voie d'amélioration. Pour les juges précédents, on ne pouvait dès lors admettre, au stade actuel, que le traitement ambulatoire se serait achevé avec succès. La cour cantonale a ainsi conclu, à la suite de l'OEP, que le traitement en question devait se poursuivre.
2.4. Les éléments précités suffisent à écarter le grief du recourant concernant une prétendue violation de son droit d'être entendu, dès lors que la motivation cantonale permet parfaitement de comprendre les motifs de l'arrêt attaqué. Il en ressort en outre (<ref-law>) que le recourant a largement eu le loisir de s'exprimer, en déposant un recours de quarante pages devant l'autorité précédente et, auparavant, des déterminations de huitante pages devant l'OEP. La cour cantonale n'a donc pas violé le droit d'être entendu du recourant, ni en ce qui concerne son obligation de motiver sa décision, ni en ce qui concerne les possibilités offertes au recourant de s'exprimer sur sa cause avant qu'une décision soit rendue. Le recourant ne saurait à cet égard reprocher à la cour cantonale d'avoir refusé de lui accorder un délai supplémentaire pour faire valoir ses arguments plus avant. Elle a en effet rappelé, à juste titre, que, selon la jurisprudence, il est communément admis en procédure que la motivation d'un acte de recours doit être entièrement contenue dans l'acte de recours lui-même. Celui-ci ne saurait dès lors être complétée ou corrigée ultérieurement, l'<ref-law> - applicable en l'espèce à titre de droit cantonal supplétif (cf. art. 38 al. 2 de la Loi vaudoise sur l'exécution des condamnations pénales [LEP/VD; BLV 340.01]) - ne devant pas être appliqué afin de détourner la portée de l'<ref-law> qui interdit la prolongation des délais fixés par la loi (arrêt 6B_510/2020 du 15 septembre 2020 consid. 2.2 et les références). On ne discerne pas, de surcroît, en quoi consiste les éléments nouveaux que la cour cantonale aurait pris en compte sans lui ménager la possibilité de s'exprimer. Enfin, le recourant prétend à tort que le médecin traitant n'aurait pas été consulté sur les questions topiques relatives à la poursuite de son traitement, puisqu'il ressort sans ambiguïté de l'arrêt attaqué que l'OEP a dûment requis du SMPP (cf. art. 63a al. 1 i. f. CP), sous l'égide duquel est dispensé le traitement du recourant, un rapport à ce sujet avant de se prononcer.
2.5. En lien avec ce qui précède, le recourant fonde en partie ses critiques à l'encontre de l'arrêt attaqué sur un courrier du SMPP daté du 21 mai 2021, censé contredire totalement l'argumentation de l'OEP et de la cour cantonale. Ce courrier n'en demeure pas moins postérieur à la décision querellée et constitue une pièce nouvelle qui est, comme telle, irrecevable (<ref-law>). En tout état, ledit courrier précise explicitement que la problématique du risque de récidive relève de la compétence d'un expert et son signataire ajoute ne pas se prononcer sur le diagnostic du recourant, à la demande duquel il a été rédigé. Ainsi, même à supposer le courrier en question recevable, le recourant n'aurait rien pu en tirer en sa faveur, dès lors que l'on n'y décèle pas les contradictions que le recourant croit pouvoir mettre en exergue.
2.6. Cela étant, sous couvert d'un grief censé démontrer une violation des art. 63 et 63a CP, le recourant développe en réalité une argumentation par laquelle il rediscute librement et de manière appellatoire, partant irrecevable, aussi bien le contenu des précédentes expertises le concernant, notamment celle à la base de la mesure ambulatoire prononcée à son encontre, ainsi que les motifs du jugement y relatif. Il perd toutefois de vue que le jugement du 20 août 2018 de la Cour d'appel pénale du Tribunal cantonal vaudois est entré en force et qu'il ne saurait être question d'y revenir. En effet, dans un tel contexte, l'autorité de chose jugée s'attache, notamment, à l'obligation faite au recourant de se soumettre à un traitement ambulatoire en cours d'exécution de peine (cf. arrêt 6B_715/2021 du 5 juillet 2021 consid. 5). Qui plus est, la mise en oeuvre concrète du traitement ambulatoire a été ordonnée par décision de l'OEP du 28 février 2020, confirmée par arrêt du 27 mars 2020 de la Chambre des recours pénale du Tribunal cantonal vaudois, également entré en force. A cet égard également, on ne saurait suivre le recourant lorsqu'il fait valoir qu'il suit un traitement ambulatoire depuis le mois de juin 2017, en paraissant confondre une démarche volontaire avec la mise en oeuvre concrète de la mesure. En outre, la cour cantonale a également relevé que le rapport du SMPP du 27 octobre 2020 n'indiquait pas que la symptomatologie, mise en évidence par les experts dans leur rapport du 8 juillet 2016, qui impliquait un un risque de récidive, était en voie d'amélioration. Les critiques du recourant concernant un prétendu défaut d'indication relatif au risque de récidive le concernant tombent par conséquent à faux. Sachant encore que le recourant se trouve en exécution de peine, les griefs qu'il soulève en se prévalant de l'art. 5 par. 1 CEDH et de l'arrêt de la CourEDH I. L. c. Suisse (requête n° 72939) tombent eux aussi à défaut, puisque que cet arrêt a trait à la détention pour des motifs de sûreté en cas de prolongation d'une mesure thérapeutique institutionnelle, mesure qui ne se confond pas, au surplus, avec un traitement ambulatoire. Enfin, toujours au regard du fait que le recourant se trouve en exécution de peine, les arguments qu'il avance en invoquant l'<ref-law>, qui concerne la détention provisoire ou pour des motifs de sûreté, en lien avec l'art. 36 Cst., s'avèrent eux aussi dénués de pertinence.
En définitive, on ne discerne pas en quoi la cour cantonale serait sortie du cadre prévu par les art. 63 et 63a CP et aurait violé le droit fédéral en confirmant la décision de l'OEP tendant à la poursuite du traitement ambulatoire ordonné dans le cas d'espèce.
3.
Le recourant invoque encore une violation de son droit à l'assistance judiciaire. On comprend qu'il se plaint d'une violation des <ref-law>, 29 al. 3 Cst. 6 par. 1 let. c CEDH et 14 par. 3 let. d Pacte ONU II.
3.1. Aux termes de l'art. 29 al. 3 Cst., toute personne qui ne dispose pas de ressources suffisantes a droit, à moins que sa cause paraisse dépourvue de toutes chances de succès, à l'assistance judiciaire gratuite. Elle a en outre droit à l'assistance gratuite d'un défenseur, dans la mesure où la sauvegarde de ses droits le requiert.
Cette disposition confère au justiciable - à l'instar de l'art. 6 par. 1 let. c CEDH - une garantie minimale, dont le Tribunal fédéral examine librement le respect (<ref-ruling> consid. 4.1 p. 136; arrêt 6B_767/2020 du 3 août 2020 consid. 2.2.1 et les références citées), à l'exception des constatations de fait qui s'y rapportent, qu'il n'examine que sous l'angle de l'arbitraire (<ref-ruling> consid. 2.3 p. 14; cf. <ref-ruling> et arrêts 6B_445/2020 du 29 juin 2020 consid. 2.1; 6B_854/2019 du 10 septembre 2019 consid. 3; 6B_1138/2013 du 2 octobre 2014 consid. 2.7 et 2.8 s'agissant du droit à l'assistance judiciaire en matière d'exécution de peines ou de mesures).
L'art. 29 al. 3 Cst. conditionne notamment l'octroi de l'assistance judiciaire gratuite à l'existence de chances de succès dans la cause de celui qui réclame celle-ci (cf. <ref-ruling> consid. 1.2 p. 397; <ref-ruling> consid. 3.3.1 p. 214; <ref-ruling> consid. 2.2.4 p. 218; <ref-ruling> consid. 5 p. 616; <ref-ruling> consid. 2.3.1 p. 135 s.; arrêts 6B_767/2020 précité consid. 2.2.1; 6B_72/2020 du 8 avril 2020 consid. 3.2). Déterminer s'il existe des chances de succès est une question de droit, que le Tribunal fédéral examine librement (ATF <ref-ruling> consid. 2.1 p. 133; arrêt 6B_445/2020 précité consid. 2.1). Un procès est dépourvu de chances de succès lorsque les perspectives de le gagner sont notablement plus faibles que les risques de le perdre, et qu'elles ne peuvent donc être considérées comme sérieuses, de sorte qu'une personne raisonnable et de condition aisée renoncerait à s'y engager en raison des frais qu'elle s'exposerait à devoir supporter; il ne l'est en revanche pas lorsque les chances de succès et les risques d'échec s'équilibrent à peu près, ou que les premières ne sont que légèrement inférieures aux secondes. L'élément déterminant réside dans le fait que l'indigent ne doit pas se lancer, parce qu'il plaide aux frais de la collectivité, dans des démarches vaines qu'une personne raisonnable n'entreprendrait pas si, disposant de moyens suffisants, elle devait les financer de ses propres deniers (cf. <ref-ruling> consid. 1.2 p. 397; <ref-ruling> consid. 2.2.4 p. 218; <ref-ruling> consid. 2.2 p. 133 ss; arrêt 6B_767/2020 précité consid. 2.2.1).
3.2. En l'espèce, la cour cantonale a rappelé à juste titre qu'en pareille configuration, les dispositions du CPP ne s'appliquent que tout au plus, si le droit cantonal le prévoit, à titre de droit cantonal supplétif (cf. arrêts 6B_767/2020 du 3 août 2020 consid. 2.1; 6B_1205/2019 du 31 octobre 2019 consid. 2.3.1). Dans cette mesure, la recevabilité des griefs que soulève le recourant en invoquant une violation de l'<ref-law>, sans exposer en quoi l'application de cette disposition serait arbitraire, apparaît douteuse (cf. <ref-law>). En tout état, la cour cantonale a considéré qu'il n'y avait pas lieu d'accorder l'assistance judiciaire au recourant, au motif que son recours cantonal était d'emblée dénué de chance de succès, soit manifestement mal fondé. Or, au vu des circonstances de l'espèce - en particulier au regard du constat selon lequel le traitement ambulatoire n'en était qu'à ses prémices -, la cour cantonale était fondée à considérer que les perspectives de succès de la démarche entreprise par le recourant devant elle étaient notablement plus faible que les perspectives d'échec. Il s'ensuit qu'elle n'a pas violé le droit fédéral en refusant au recourant le bénéfice de l'assistance judiciaire.
4.
Le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chance de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant, qui succombe, supporte les frais judiciaires, dont le montant sera fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF). La cause étant jugée, la requête d'effet suspensif n'a plus d'objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 19 juillet 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant : Denys
Le Greffier : Dyens