Faits : A. Par jugement du 18 novembre 2015, le Tribunal du IIIe arrondissement pour le district de Monthey a reconnu X._ coupable de tentative de brigandage, de violence et menace contre les autorités et les fonctionnaires, d'injure, de vol, complicité de vol, de dommages à la propriété, de violation de domicile, de conduite sans autorisation et de contravention à la la loi fédérale sur les stupéfiants. Il l'a condamné à une peine privative de liberté de 36 mois, dont 12 mois ferme, peine d'ensemble, englobant la peine privative de liberté de 90 jours prononcée le 16 avril 2012 par le Tribunal des mineurs de Sion, dont le sursis était révoqué, sous déduction de la détention subie avant jugement. Il l'a également condamné à une amende contraventionnelle de 500 francs. L'exécution de la peine privative de liberté a été partiellement suspendue pendant 24 mois, un délai d'épreuve de 5 ans lui étant imparti. La peine privative de liberté de substitution en cas de non-paiement fautif de l'amende contraventionnelle a été fixée à 10 jours. B. Par jugement du 20 février 2018, le Tribunal du IIIe arrondissement pour le district de Monthey a reconnu X._ coupable d'abus de confiance, de tentative de vol, de vol, de dommages à la propriété, d'utilisation frauduleuse d'un ordinateur, de contrainte, de violation de domicile, de désagréments causés par la confrontation à un acte d'ordre sexuel, de vol d'usage, de violation de la loi sur les armes et de contravention à la loi fédérale sur les stupéfiants. Il l'a condamné à une peine privative de liberté de 24 mois, sous déduction de la détention subie avant jugement, ainsi qu'à une amende de 1'000 fr., peines partiellement complémentaires à celles prononcées par jugement du 18 novembre 2015 du même tribunal. La peine privative de liberté de substitution en cas de non-paiement fautif de l'amende précitée a été fixée à 10 jours. Les sursis accordés les 20 août 2013 par l'Office régional du Bas-Valais du Ministère public et 18 novembre 2015 par le Tribunal du IIIe arrondissement pour le district de Monthey ont été révoqués et la peine pécuniaire de 40 jours-amende à 30 fr. le jour ainsi que le solde de la peine privative de liberté de 36 mois, soit 24 mois, ont été mis à exécution. C. Par décision du 28 août 2018, le Tribunal d'application des peines et mesures (TAPEM), a refusé à X._ la libération conditionnelle à mi-peine. D. Le 8 mars 2019, X._ a été transféré à la prison des Iles à Sion. Il est passé au régime du travail externe à cette même date. E. E.a. Par décision du 12 avril 2019, le TAPEM a accordé la libération conditionnelle à X._ avec effet au 18 mai 2019. Il lui a fixé un délai d'épreuve jusqu'au 22 septembre 2020, ordonnant une assistance à la probation et lui imposant des règles de conduite, à savoir l'abstinence à l'alcool et aux stupéfiants, l'obligation de se soumettre à des contrôles pour tester l'abstinence à l'alcool et aux stupéfiants, l'obligation de se soumettre à un suivi auprès d'Addiction Valais, l'obligation de se soumettre à un suivi thérapeutique auprès du Service de médecine pénitentiaire (SMP), l'interdiction de détenir des armes et des objets apparentés et l'obligation de verser régulièrement les indemnités dues à titre de réparation du tort moral. E.b. Par décision du 14 juin 2019, le chef de l'Office des sanctions et des mesures d'accompagnement (OSAMA) a rappelé X._ à ses obligations dans le cadre de sa libération conditionnelle. E.c. A la suite de nombreuses difficultés et sur la base d'un rapport psycho-criminologique du 9 août 2019, l'OSAMA a dénoncé le cas de X._ au TAPEM en concluant à la révocation de sa libération conditionnelle. E.d. En date du 10 octobre 2019, le TAPEM a prononcé la révocation de la libération conditionnelle accordée à X._ le 12 avril précédent. Il a ordonné la réintégration dans l'exécution des peines privatives de liberté fixées par jugement des 18 novembre 2015 et 20 février 2018, soit un solde de peine d'une année, quatre mois et quatre jours, tout en levant, respectivement en révoquant, l'assistance à la probation et les règles de conduites imposées dans le cadre de l'octroi de la libération conditionnelle. E.e. Statuant sur le recours interjeté par X._, la Chambre pénale du Tribunal cantonal du Valais l'a rejeté par ordonnance du 20 mai 2020. F. X._ forme un recours en matière pénale au Tribunal fédéral contre l'ordonnance précitée. Il conclut en substance à la réforme de celle-ci, en ce sens que sa libération conditionnelle n'est pas révoquée. Il sollicite également le bénéfice de l'assistance judiciaire.