Faits :
A.
Par jugement du 13 février 2019, le Tribunal du IIIème arrondissement pour le district de Monthey a reconnu A._ coupable de lésions corporelles simples, de tentative de vol, de brigandage qualifié, de dommages à la propriété, de contrainte, de violation de domicile, de délit à la LArm, de délit à la LStup, de vol d'importance mineure et de contravention à la LStup. Il a révoqué le sursis accordé le 30 juin 2015 par le Tribunal de district de Monthey, ordonnant la mise à exécution de la peine privative de liberté de 22 mois et a prononcé une peine d'ensemble de 42 mois, sous déduction de la détention subie avant jugement.
A._ avait fait l'objet de cinq condamnations entre 2012 et 2015 pour diverses infractions telles que vols, dommages à la propriété, violations de domicile, violations des règles de la circulation routière, infractions à la LStup et délits à la LArm.
B.
Par décision du 28 octobre 2019, le Tribunal d'application des peines et mesures (TAPEM) valaisan a octroyé la libération conditionnelle à A._, fixant le délai d'épreuve à une année et deux mois, à savoir jusqu'au 21 février 2021, et en ordonnant une assistance de probation et fixant les règles de conduite suivantes: interdiction de consommer de l'alcool et des stupéfiants, obligation de se soumettre à des contrôles réguliers et inopinés, poursuite du suivi par Addiction Valais et interdiction de détenir une arme ou un objet dangereux.
C.
A la suite de violations répétées des règles de conduite fixées et sur la base d'un rapport défavorable du 24 septembre 2020, l'Office valaisan des sanctions et des mesures d'accompagnement (OSAMA) a dénoncé le cas de A._ au TAPEM en concluant à la révocation de sa libération conditionnelle.
En date du 7 octobre 2020, le TAPEM a révoqué la libération conditionnelle octroyée le 28 octobre 2019 à A._ et ordonné l'exécution des soldes de peines privatives de liberté.
D.
Par ordonnance du 9 décembre 2020, la Chambre pénale du Tribunal cantonal du Valais a rejeté le recours formé par A._ contre la décision du TAPEM du 7 octobre 2020.
E.
A._ forme un recours auprès du Tribunal fédéral et conclut, avec suite de frais et dépens, à ce que l'ordonnance du 9 décembre 2020 soit déclarée nulle. Subsidiairement, il conclut à la réforme de l'ordonnance attaquée en ce sens que la libération conditionnelle n'est pas révoquée. Il sollicite en outre l'octroi de l'effet suspensif et le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant prétend que la décision de révocation de la libération conditionnelle serait nulle, pour des motifs de compétence. Il considère que seul le juge pénal compétent pour juger d'une nouvelle infraction peut révoquer la libération conditionnelle.
1.1.
1.1.1. La nullité absolue ne frappe que les décisions affectées des vices les plus graves, manifestes ou du moins facilement décelables et pour autant que sa constatation ne mette pas sérieusement en danger la sécurité du droit (<ref-ruling> consid. 3.1 p. 503 s.; <ref-ruling> consid. 4.4.3 p. 56; arrêt 6B_120/2018 du 31 juillet 2018 consid. 2.2).
1.1.2. Les conséquences d'un échec de la mise à l'épreuve consécutive à une libération conditionnelle au sens de l'<ref-law> sont régies par l'<ref-law>. En vertu de l'<ref-law>, dans le cas où le détenu libéré conditionnellement commet un crime ou un délit, le juge qui connaît de la nouvelle infraction ordonne sa réintégration dans un établissement. Si la personne libérée conditionnellement se soustrait à l'assistance de probation ou si elle viole les règles de conduite, l'art. 95 al. 3 à 5 CP est applicable en vertu de l'<ref-law>. Dans ce cas, l'<ref-law> prévoit qu'à certaines conditions (cf. infra consid. 2.1), le juge peut ordonner la réintégration dans l'exécution de la peine ou de la mesure s'il est sérieusement à craindre que le condamné ne commette de nouvelles infractions.
1.2. En l'espèce, le TAPEM a révoqué la libération conditionnelle du recourant en vertu des art. 89 al. 3 et 95 al. 5 CP. Contrairement à ce que prétend le recourant, il ne s'agit pas d'une autorité d'exécution mais d'un juge, lequel est compétent pour révoquer la libération conditionnelle en cas de violation des règles de conduite, en vertu des dispositions précitées (cf. <ref-ruling>; arrêts 6B_747/2020 du 11 août 2020; 6B_1224/2013 du 17 mars 2014; PERRIN/GRIVAT/DEMARTINI/PÉQUIGNOT, in Commentaire romand, Code pénal I, 2e éd. 2020, n°s 5 et 25 ad <ref-law>). Le recourant ne saurait rien déduire en sa faveur de l'<ref-law>, qui prévoit, en matière de révocation du sursis, la compétence du juge appelé à connaître du nouveau crime ou du nouveau délit. Aussi, le grief consistant à contester la compétence du TAPEM pour ordonner la révocation de sa libération conditionnelle est infondé.
L'ordonnance pénale du Ministère public datant du 7 décembre 2020 dont se prévaut le recourant constitue une pièce nouvelle, laquelle est irrecevable (<ref-law>). En tout état, elle n'affecte par la compétence du juge d'examiner l'hypothèse prévue par l'<ref-law>.
Dans la mesure où la révocation contestée résulte de la violation des règles de conduite et non de la commission de nouvelles infractions pendant le délai d'épreuve, c'est en vain que le recourant suggère, sans autre développement, que la décision violerait la présomption d'innocence et le principe ne bis in idem.
2.
Selon le recourant, les conditions pour ordonner la révocation de la libération conditionnelle ne sont pas réalisées en l'espèce. Il invoque une violation de l'<ref-law> et du principe de la présomption d'innocence.
2.1. D'après l'<ref-law>, si le condamné se soustrait à l'assistance de probation, s'il viole les règles de conduite ou si l'assistance de probation ou les règles de conduite ne peuvent pas être exécutées ou ne sont plus nécessaires, l'autorité compétente présente un rapport au juge ou à l'autorité d'exécution. Aux termes de l'<ref-law>, le juge ou l'autorité d'exécution peut, dans les cas prévu à l'al. 3, prolonger le délai d'épreuve jusqu'à concurrence de la moitié de sa durée (let. a), lever l'assistance de probation ou en ordonner une nouvelle (let. b) ou modifier les règles de conduite, les révoquer ou en imposer de nouvelles (let. c). Selon l'<ref-law>, dans les cas prévus à l'al. 3, le juge peut aussi révoquer le sursis ou ordonner la réintégration dans l'exécution de la peine ou de la mesure s'il est sérieusement à craindre que le condamné ne commette de nouvelles infractions.
La jurisprudence a qualifié l'assistance de probation et les règles de conduite comme des mesures d'accompagnement qui tendent non seulement à permettre la réinsertion du condamné, mais qui visent aussi à réduire le danger de récidive pendant la période d'épreuve, objectif qui ressort expressément de l'<ref-law>. Sous cet angle, l'assistance de probation et les règles de conduite impliquent donc de tenir compte de la sécurité publique, qui a déjà été lésée par l'infraction ayant donné lieu à la privation de liberté, objet de la libération conditionnelle. Il en résulte que l'exécutabilité de l'assistance de probation ou de règles de conduite, en tant que mesure d'accompagnement de la décision de libération conditionnelle, ne doit pas être examinée uniquement sous l'angle du respect par le condamné des modalités de la mesure en question, mais aussi en tenant compte du but de sécurité publique poursuivi (<ref-ruling> consid. 4.3.2 p. 68 s.; arrêts 6B_747/2020 du 11 août 2020 consid. 1.1; 6B_219/2017 du 5 avril 2017 consid. 1.1).
La réintégration selon l'<ref-law> implique que le comportement adopté qui consiste à se soustraire à l'assistance de probation ou à violer les règles de conduite doit être de nature à remettre en question le pronostic favorable posé au moment du prononcé de la mesure d'accompagnement. Il convient dès lors d'examiner d'une part les agissements de l'intéressé d'un point de vue objectif et d'autre part d'en mesurer la portée à la lumière de la finalité de la mesure ambulatoire d'accompagnement. Au plan des faits, l'inobservation peut être retenue en présence d'un refus répété de rencontrer l'agent de probation, d'une rupture inexpliquée et unilatérale d'un suivi thérapeutique, de l'abandon sans raison d'un emploi sans recherche d'un nouveau travail, d'un mépris affiché des avertissements de l'autorité d'application de la mesure, de la violation répétée d'une règle de conduite malgré des rappels à l'ordre. Tout écart de conduite ne s'analyse cependant pas comme une insoumission. Il convient de considérer l'attitude du condamné consécutive à son manquement : l'analyse sera différente selon qu'il reconnaît sa faute ou en tire des enseignements, ou qu'il nie ou minimise les faits. A lui seul le comportement du condamné ne suffit cependant pas à conclure à une insoumission. Encore faut-il que la finalité de la mesure ambulatoire d'accompagnement apparaisse compromise, par exemple parce que le risque de récidive persiste ou s'aggrave (arrêts 6B_1224/2013 du 17 mars 2014 consid. 5.2; 6B_425/2013 du 31 juillet 2013 consid. 2.1 et les références citées).
En cas d'échec de la mesure, le principe de proportionnalité commande d'envisager prioritairement son réaménagement au sens de l'<ref-law> et seulement subsidiairement la révocation du sursis, respectivement la réintégration dans l'exécution de la peine ou de la mesure selon l'<ref-law> qui subordonne son application à la réalisation d'un risque sérieux de récidive. Le juge doit faire preuve de retenue dans le prononcé de la réintégration. L'insoumission constitue, au plus, un indice de récidive. En se fondant sur le rapport social (<ref-law>), le juge doit d'office instruire la question de savoir si, au-delà d'une insoumission à une mesure ambulatoire d'accompagnement, l'intéressé se trouve dans une situation dont on doit inférer qu'elle le conduira, très vraisemblablement, à retomber dans la délinquance (arrêts 6B_1224/2013 du 17 mars 2014 consid. 5.2; 6B_425/2013 du 31 juillet 2013 consid. 2.1 et les références citées).
2.2. La cour cantonale a relevé qu'à teneur de la décision d'octroi de la libération conditionnelle, malgré les antécédents récents de l'intéressé et ses faibles capacités de tenir compte des conséquences de ses actes, ses projets d'avenir (notamment professionnels et l'emménagement avec sa compagne à U._ loin de ses mauvaises fréquentations) permettaient de considérer que le pronostic en vue de la libération conditionnelle était non défavorable.
Selon l'évaluation détaillée de la part des spécialistes de l'OSAMA, le risque de récidive d'actes de violence était moyen et le risque général d'autres infractions élevé, notamment en raison de l'instabilité professionnelle du recourant, de ses mauvaises fréquentations, et de son attitude ambivalente face au bien-fondé des règles de conduite et à sa réelle volonté d'être abstinent. L'assistance de probation et les règles de conduite constituaient des facteurs de protection (faibles à modérés) contre la récidive.
Or, le rapport d'Addiction Valais du 9 juillet 2020 mettait en lumière que le suivi du recourant était très aléatoire (retards, absences, coopération ambivalente) et l'intéressé avait expressément nié l'utilité du suivi auprès de l'OSAMA. Selon le rapport du 24 septembre 2020 émanant de cet office, le recourant avait rechuté dans la consommation d'alcool et de stupéfiants, il maintenait des contacts avec des personnes connues défavorablement de la justice et avait affirmé, lors de son audition d'août 2020, vouloir continuer à boire. Le recourant avait fait l'objet d'avertissements de l'OSAMA en février et mai 2020. Lors d'un contrôle de la circulation routière le 16 août 2020, le recourant a été testé positif à l'alcool et à la cocaïne et un poignard à lame asymétrique (non qualifié d'arme selon la LArm) a été découvert. Questionné sur ces manquements, le 26 août 2020, il avait été averti du dépôt d'une dénonciation et du risque d'une révocation de sa libération conditionnelle. Le 18 septembre 2020, une enquête pénale a été ouverte contre le recourant pour infractions à la LStup et à la LCR, à la suite du contrôle de police fortuit du véhicule. Devant le TAPEM, le 7 octobre 2020, le recourant avait concédé qu'il ne parvenait plus à "résister à la tentation".
Outre les éléments retenus par le TAPEM, la cour cantonale a pris en compte l'ouverture d'une nouvelle procédure pénale en novembre 2020, s'agissant notamment d'une altercation entre le recourant - qui s'était rendu la nuit du 21 novembre 2020, avec un ami muni d'un spray de défense, au domicile de son ex-compagne - et les personnes qui s'y trouvaient. A cette occasion, le recourant avait été blessé d'un coup de couteau à l'abdomen.
En tenant compte en particulier de l'investissement constamment ambivalent du recourant dans le suivi d'Addiction Valais, des manquements répétés à l'obligation d'abstinence aux stupéfiants et à l'alcool, du manque d'introspection de l'intéressé, du peu d'effet des deux avertissements de l'OSAMA et de l'augmentation du risque de récidive en matière d'actes de violence - démontrée encore récemment - mise en lien avec le non-respect du cadre instauré par l'assistance de probation et les règles de conduite, la cour cantonale a conclu que le pronostic du recourant était significativement plus défavorable qu'au moment de l'octroi de sa libération conditionnelle. Pour ce faire, elle a également tenu compte, dans une moindre mesure, des antécédents du recourant et des deux enquêtes pénales ouvertes à son encontre. Selon la cour cantonale, une prolongation du délai d'épreuve ou la modification des règles de conduite ne pouvaient avoir qu'un effet au mieux insuffisant sur la prévention d'un tel risque, de sorte que l'exécution du solde de la peine semblait, non seulement proportionnée mais encore la sanction la plus efficace.
2.3. Le recourant ne conteste pas avoir violé de manière répétée des règles de conduite fixées. Il procède dans une large mesure, à une interprétation personnelle des considérants de l'ordonnance entreprise et prétend notamment que la cour cantonale aurait donné un poids trop important à la procédure pénale ouverte en novembre 2020, qu'il commente librement en s'écartant des faits retenus. Ce procédé est largement appellatoire, partant irrecevable (cf. art. 105 al. 2 et 106 al. 2 LTF). En tout état, le recourant perd de vue que le risque de récidive a été examiné sur la base notamment de l'évaluation détaillée de la part des spécialistes de l'OSAMA et du non-respect du cadre fixé malgré les avertissements de l'office compétent, ce qu'il ne conteste au demeurant pas. D'ailleurs, la décision initiale de révocation de la libération conditionnelle émanant du TAPEM est antérieure à cette procédure et retient une augmentation du risque de récidive indépendamment de celle-ci. Si la cour cantonale a, parmi d'autres éléments, tenu compte de la nouvelle procédure ouverte en novembre 2020, elle s'est limitée à relever qu'elle jetait une lumière crue sur l'évolution de la mentalité du recourant (cf. notamment: expédition nocturne et usage d'un spray de défense par son ami, refus de collaborer à l'enquête, insoumission à un examen clinique), rappelant expressément que les documents y relatifs ne présageaient pas des suites pénales susceptibles de lui être réservées. Elle n'a pas ignoré que le recourant avait subi un coup de couteau et que c'est en sa qualité de lésé qu'il avait refusé de collaborer. Cela étant, le recourant est infondé à se plaindre d'une violation de la présomption d'innocence à cet égard.
Pour le surplus, on ne décèle dans l'argumentation du recourant aucun élément qui serait de nature à retenir que la cour cantonale aurait admis à tort l'existence de raisons sérieuses de craindre qu'il commette de nouvelles infractions. Pour ce faire, il a notamment été tenu compte du risque de récidive initial, des facteurs de protection envisagés (projets d'avenir, règles de conduite), des violations répétées de différentes règles de conduite malgré les avertissements, du manque d'adhérence au suivi, du maintien du réseau de fréquentation connu de la justice, de l'ouverture de procédures pénales à son encontre (LCR, LStup) et de l'évolution de sa mentalité dans le cadre de la procédure ouverte en novembre 2020. Les éléments pris en considération en l'espèce, et en particulier l'attitude du recourant après ses manquements répétés malgré les avertissements, permettent de retenir l'existence d'un risque sérieux de craindre la commission de nouvelles infractions. Aussi, la cour cantonale pouvait, sans violer l'<ref-law>, confirmer la décision révoquant la libération conditionnelle du recourant, considérant qu'une prolongation du délai d'épreuve ou qu'un aménagement des règles de conduite n'était pas apte à atteindre le but de sécurité publique visé et que seule la réintégration constituait une sanction efficace.
Le grief du recourant doit être rejeté dans la mesure où il est recevable.
3.
Au vu de ce qui précède, le recours doit être rejeté dans la faible mesure où il est recevable. Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera fixé en tenant compte de sa situation. La requête de restitution d'effet suspensif est sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 1er février 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Klinke