Faits :
A.
Par jugement du 18 novembre 2015, le Tribunal du IIIe arrondissement pour le district de Monthey a reconnu X._ coupable de tentative de brigandage, de violence et menace contre les autorités et les fonctionnaires, d'injure, de vol, complicité de vol, de dommages à la propriété, de violation de domicile, de conduite sans autorisation et de contravention à la la loi fédérale sur les stupéfiants. Il l'a condamné à une peine privative de liberté de 36 mois, dont 12 mois ferme, peine d'ensemble, englobant la peine privative de liberté de 90 jours prononcée le 16 avril 2012 par le Tribunal des mineurs de Sion, dont le sursis était révoqué, sous déduction de la détention subie avant jugement. Il l'a également condamné à une amende contraventionnelle de 500 francs.
L'exécution de la peine privative de liberté a été partiellement suspendue pendant 24 mois, un délai d'épreuve de 5 ans lui étant imparti. La peine privative de liberté de substitution en cas de non-paiement fautif de l'amende contraventionnelle a été fixée à 10 jours.
B.
Par jugement du 20 février 2018, le Tribunal du IIIe arrondissement pour le district de Monthey a reconnu X._ coupable d'abus de confiance, de tentative de vol, de vol, de dommages à la propriété, d'utilisation frauduleuse d'un ordinateur, de contrainte, de violation de domicile, de désagréments causés par la confrontation à un acte d'ordre sexuel, de vol d'usage, de violation de la loi sur les armes et de contravention à la loi fédérale sur les stupéfiants. Il l'a condamné à une peine privative de liberté de 24 mois, sous déduction de la détention subie avant jugement, ainsi qu'à une amende de 1'000 fr., peines partiellement complémentaires à celles prononcées par jugement du 18 novembre 2015 du même tribunal. La peine privative de liberté de substitution en cas de non-paiement fautif de l'amende précitée a été fixée à 10 jours.
Les sursis accordés les 20 août 2013 par l'Office régional du Bas-Valais du Ministère public et 18 novembre 2015 par le Tribunal du IIIe arrondissement pour le district de Monthey ont été révoqués et la peine pécuniaire de 40 jours-amende à 30 fr. le jour ainsi que le solde de la peine privative de liberté de 36 mois, soit 24 mois, ont été mis à exécution.
C.
Par décision du 28 août 2018, le Tribunal d'application des peines et mesures (TAPEM), a refusé à X._ la libération conditionnelle à mi-peine.
D.
Le 8 mars 2019, X._ a été transféré à la prison des Iles à Sion. Il est passé au régime du travail externe à cette même date.
E.
E.a. Par décision du 12 avril 2019, le TAPEM a accordé la libération conditionnelle à X._ avec effet au 18 mai 2019. Il lui a fixé un délai d'épreuve jusqu'au 22 septembre 2020, ordonnant une assistance à la probation et lui imposant des règles de conduite, à savoir l'abstinence à l'alcool et aux stupéfiants, l'obligation de se soumettre à des contrôles pour tester l'abstinence à l'alcool et aux stupéfiants, l'obligation de se soumettre à un suivi auprès d'Addiction Valais, l'obligation de se soumettre à un suivi thérapeutique auprès du Service de médecine pénitentiaire (SMP), l'interdiction de détenir des armes et des objets apparentés et l'obligation de verser régulièrement les indemnités dues à titre de réparation du tort moral.
E.b. Par décision du 14 juin 2019, le chef de l'Office des sanctions et des mesures d'accompagnement (OSAMA) a rappelé X._ à ses obligations dans le cadre de sa libération conditionnelle.
E.c. A la suite de nombreuses difficultés et sur la base d'un rapport psycho-criminologique du 9 août 2019, l'OSAMA a dénoncé le cas de X._ au TAPEM en concluant à la révocation de sa libération conditionnelle.
E.d. En date du 10 octobre 2019, le TAPEM a prononcé la révocation de la libération conditionnelle accordée à X._ le 12 avril précédent. Il a ordonné la réintégration dans l'exécution des peines privatives de liberté fixées par jugement des 18 novembre 2015 et 20 février 2018, soit un solde de peine d'une année, quatre mois et quatre jours, tout en levant, respectivement en révoquant, l'assistance à la probation et les règles de conduites imposées dans le cadre de l'octroi de la libération conditionnelle.
E.e. Statuant sur le recours interjeté par X._, la Chambre pénale du Tribunal cantonal du Valais l'a rejeté par ordonnance du 20 mai 2020.
F.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'ordonnance précitée. Il conclut en substance à la réforme de celle-ci, en ce sens que sa libération conditionnelle n'est pas révoquée. Il sollicite également le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
A la lecture de son mémoire, on comprend que le recourant reproche à la cour cantonale d'avoir admis la réalisation des conditions permettant d'ordonner sa réintégration en vertu de l'<ref-law>.
1.1. Les conséquences d'un échec de la mise à l'épreuve consécutive à une libération conditionnelle au sens de l'<ref-law> sont régies par l'<ref-law>. Selon l'<ref-law>, l'art. 95 al. 3 à 5 est applicable si la personne libérée conditionnellement se soustrait à l'assistance de probation ou si elle viole les règles de conduite.
D'après l'<ref-law>, si le condamné se soustrait à l'assistance de probation, s'il viole les règles de conduite ou si l'assistance de probation ou les règles de conduite ne peuvent pas être exécutées ou ne sont plus nécessaires, l'autorité compétente présente un rapport au juge ou à l'autorité d'exécution. Au x termes de l'<ref-law>, le juge ou l'autorité d'exécution peut, dans les cas prévu à l'al. 3, prolonger le délai d'épreuve jusqu'à concurrence de la moitié de sa durée (let. a), lever l'assistance de probation ou en ordonner une nouvelle (let. b) ou modifier les règles de conduite, les révoquer ou en imposer de nouvelles (let. c). L'<ref-law> précise encore que, dans les cas prévus à l'al. 3, le juge peut aussi révoquer le sursis ou ordonner la réintégration dans l'exécution de la peine ou de la mesure s'il est sérieusement à craindre que le condamné ne commette de nouvelles infractions.
La jurisprudence a qualifié l'assistance de probation et les règles de conduite comme des mesures d'accompagnement qui tendent non seulement à permettre la réinsertion du condamné, mais qui visent aussi à réduire le danger de récidive pendant la période d'épreuve, objectif qui ressort expressément de l'<ref-law>. Sous cet angle, l'assistance de probation et les règles de conduite impliquent donc de tenir compte de la sécurité publique, qui a déjà été lésée par l'infraction ayant donné lieu à la privation de liberté, objet de la libération conditionnelle. Il en résulte que l'exécutabilité de l'assistance de probation ou de règles de conduite, en tant que mesure d'accompagnement de la décision de libération conditionnelle, ne doit pas être examinée uniquement sous l'angle du respect par le condamné des modalités de la mesure en question, mais aussi en tenant compte du but de sécurité publique poursuivi. Si la mesure ne peut plus atteindre cet objectif, elle doit être considérée comme n'étant plus exécutable au sens de l'<ref-law>. En pareil cas, l'autorité a alors la possibilité de réaménager la mesure selon l'<ref-law> ou de prononcer la réintégration au sens de l'<ref-law> (<ref-ruling> consid. 4.3.2 p. 68 s.; arrêt 6B_219/2017 du 5 avril 2017 consid. 1.1).
1.2. En l'espèce, il ressort de la décision querellée que le premier juge a en substance relevé que, par ses mensonges et ses omissions d'informer l'OSAMA, le recourant n'avait pas collaboré pleinement dans le cadre de l'assistance à la probation, tout en contribuant largement largement à compliquer son suivi psycho-légal. Il s'était fautivement soustrait à l'assistance à la probation - ce qu'il avait expressément reconnu devant le premier juge - et avait de surcroît violé pas moins de cinq règles de conduite sur les six qui lui avaient été imposées dans le cadre de sa libération conditionnelle, alors qu'il s'était engagé à les respecter scrupuleusement. De surcroît, la libération conditionnelle avait été accordée au regard de l'effet positif escompté des mesures d'accompagnement mises en place et ce n'était que dans cette perspective que le risque de récidive avait pu être qualifié de faible à modéré, et donc de tolérable compte tenu des infractions de violence dont la réitération était redoutée. A contrario, le fait que le recourant s'était soustrait à l'assistance de probation et avait violé la majeure partie des règles de conduites qui lui avaient été imposées impliquait de revoir sérieusement à la hausse l'intensité du risque de récidive, l'OSAMA ayant conclu, dans son rapport psycho-criminologique du 9 août 2019, à l'existence d'un risque de récidive général très élevé et d'un risque modéré de réitération d'actes violents. Le risque de récidive apparaissait d'autant plus grand que le recourant avait recommencé à fumer régulièrement du cannabis. Il avait de surcroît clairement démontré son incapacité à anticiper les conséquences de ses actes en acceptant de livrer clandestinement de la marchandise illégale à un détenu dans une prison, avait pris le volant sous l'influence de l'alcool et sous le coup d'une interdiction de conduire, avait volé avec des comparses des plants de CBD dans un champ et persistait à fréquenter des personnes très défavorablement connues de la justice. Sur cette base, le premier juge a considéré qu'il existait un risque actuel de récidive modéré à élevé pour des actes de violence et que le pronostic favorable posé au moment de la libération conditionnelle n'existait plus, étant relevé que le recourant avait lui-même reconnu avoir commis des infractions depuis sa libération conditionnelle. Pour le premier juge, la gravité de la situation et l'intensité du risque de récidive alors considérée rendait illusoire l'option consistant à contrer celui-ci par la simple prolongation du délai d'épreuve ou par le prononcé de nouvelles règles de conduite. Seul le retour en prison permettait d'éviter que l'intimé récidive et péjore encore plus sa situation.
La cour cantonale a considéré que l'argumentation du premier juge ne prêtait pas le flanc à la critique. Elle a certes retenu, en faveur du recourant, que l'annulation de la révocation de son autorisation d'établissement par arrêt du Tribunal fédéral du 18 novembre 2019 (2C_1154/2018), intervenue dans l'intervalle, représentait un élément favorable, mais n'en a pas moins jugé que cet élément demeurait impropre à remettre en question l'appréciation du risque de récidive ressortant du rapport psycho-criminologique de l'OSAMA du 9 août 2019. Elle a rappelé sur ce point que ce risque avait été évalué comme étant modéré à élevé s'agissant d'actes violents et très élevé en ce qui concerne le risque de récidive général. Parmi d'autres éléments, la cour cantonale a encore relevé que depuis le prononcé de la décision du 10 octobre 2019 révoquant sa libération conditionnelle et ordonnant sa réintégration, la situation du recourant s'était encore détériorée. Elle a notamment pointé la persistance des violations des règles de conduite lui imposant de s'abstenir de consommation d'alcool et de stupéfiants, mais aussi la violation nouvelle de la règle concernant l'interdiction de détenir des armes et objets apparentés. Les maigres éléments favorables, comme l'indication qu'il se trouvait en temps d'essai auprès d'une entreprise en qualité de logisticien, laquelle n'était d'ailleurs pas étayée, demeuraient quoi qu'il en soit impropres à contrebalancer les nombreux autres facteurs très défavorables le concernant.
1.3. Face à ces considérations, le recourant discute librement la décision entreprise en faisant état de différents éléments de fait relatifs à sa situation personnelle qui ne ressortent pas de la décision attaquée, sans pour autant chercher à démontrer en quoi la cour cantonale aurait arbitrairement omis d'en tenir compte. Son argumentation s'avère ainsi largement appellatoire et, partant, irrecevable (<ref-law>; <ref-law>). On ne discerne guère de discussion topique destinée à démontrer en quoi ou sur quel point la cour cantonale aurait violé l'<ref-law>. Dans cette mesure également, ses critiques s'avèrent, dans une très large mesure, irrecevables (<ref-law>). En tout état, c'est à tort que le recourant se plaint de ce que l'OSAMA se serait basé sur une expertise qui remonterait au mois de juin 2013. Il ressort en effet de la décision attaquée que l'appréciation du risque de récidive, telle qu'elle découle du rapport psycho-criminologique du 9 août 2019, repose avant tout sur le travail d'évaluation diligenté par l'OSAMA dans le cadre de la rédaction dudit rapport, sur la base de différents outils méthodologiques combinés à une appréciation clinique. Au vu des constatations cantonales, c'est en vain qu'il prétend que sa situation se serait stabilisée ou arrangée. Pour le surplus, on ne décèle dans l'argumentation du recourant aucun élément qui serait de nature à retenir que la cour cantonale aurait admis à tort l'existence de raisons sérieuses de craindre qu'il commette de nouvelles infractions. Les différents éléments mis en exergue dans le cadre de la décision querellée permettent au contraire de retenir que la cour cantonale n'a pas violé l'<ref-law> en confirmant la décision révoquant sa libération conditionnelle et ordonnant sa réintégration. Ainsi, autant qu'ils soient recevables, les griefs du recourant s'avèrent manifestement mal fondés.
2.
Au vu de ce qui précède, le recours doit être rejeté dans la faible mesure où il est recevable. Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera fixé en tenant compte de sa situation.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 11 août 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Dyens