Considérant en fait et en droit :
1.
Par décision du 12 juin 2020, le Chef de l'Office des sanctions et des mesures d'accompagnement (ci-après: OSAMA) a rejeté la requête de A._, du 8 juin 2020, tendant à son transfert dans un autre établissement, tel que X._ ou Y._ et a décidé de son maintien en milieu fermé au pénitencier Z._.
Par décision sur réclamation du 24 juillet 2020, l'OSAMA a rejeté la réclamation formée par A._.
Par arrêt du 9 mars 2021, la Cour de droit public du Tribunal cantonal du canton du Valais a rejeté le recours formé par A._.
2.
En substance, la cour cantonale, en se référant à plusieurs expertises et aux décisions de différentes autorités (TAPEM, Commissions de dangerosité, Tribunal cantonal du canton du Valais) qui étaient toutes convergentes, a retenu que le caractère dangereux de A._ subsistait, qu'il existait un risque de récidive qualifié de moyen au minimum, en particulier de crimes sexuels et un manque d'investissement thérapeutique. Partant, elle a ainsi conclu que la requête de A._, du 8 juin 2020, visant à son transfert dans un autre établissement était vouée à l'échec.
3.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 9 mars 2021. Il conclut, principalement à la réforme en ce sens qu'il est transféré dans un autre établissement pénitentiaire "approprié à sa situation". Subsidiairement, il conclut à l'annulation de l'arrêt et au renvoi de la cause à la cour cantonale pour nouvel arrêt dans le sens des considérants. En outre, il sollicite l'assistance judiciaire et la dispense de l'avance et du paiement des frais judiciaires.
4.
Dans la mesure où les pièces produites par le recourant ne figureraient pas déjà à la procédure, elles sont nouvelles, partant irrecevables (art. 99 al. 1 LTF).
5.
Selon l'art. 42 al. 1 LTF, les mémoires de recours au Tribunal fédéral doivent indiquer les conclusions, les motifs et les moyens de preuves, et être signés. En particulier, le recourant doit motiver son recours en exposant succinctement en quoi la décision attaquée viole le droit (cf. art. 42 al. 2 LTF). Pour satisfaire à cette exigence, il appartient au recourant de discuter au moins brièvement les considérants de la décision litigieuse (ATF 142 III 364 consid. 2.4; 140 III 86 consid. 2; 134 II 244 consid. 2.1). En particulier, la motivation doit être topique, c'est-à-dire se rapporter à la question juridique tranchée par l'autorité cantonale (ATF 123 V 335; arrêt 6B_970/2017 du 17 octobre 2017 consid. 4). De plus, le Tribunal fédéral est lié par les faits retenus par l'arrêt entrepris (art. 105 al. 1 LTF), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire (art. 9 Cst.; sur cette notion v. ATF 143 IV 241 consid. 2.3.1; 140 I 201 consid. 6.1) dans la constatation des faits. Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (ATF 143 IV 500 consid. 1.1). Les critiques de nature appellatoire sont irrecevables (ATF 145 IV 154 consid. 1.1).
En l'espèce, la cour cantonale a confirmé le refus du transfert du recourant dans un autre établissement. Pour ce faire, elle s'est fondée sur les conclusions convergentes des différents experts et a retenu que le caractère dangereux du recourant subsistait (cf. art. 62d al. 2, 64 al. 1 et 75a al. 1 CP), qu'il existait un risque de récidive qualifié de moyen au minimum, en particulier de crimes sexuels, et un manque d'investissement thérapeutique.
Dans la mesure où l'argumentation du recourant est intelligible, elle consiste uniquement en une présentation personnelle des faits, pour la plupart sans grand lien avec la présente cause, mais en rapport avec d'autres procédures, dans une démarche purement appellatoire. Il en va de même lorsque le recourant se fonde sur des faits non constatés dans l'arrêt attaqué, sans qu'il ne cherche à démontrer qu'ils auraient été arbitrairement omis. Les critiques du recourant ne répondent ainsi pas aux exigences de motivation accrues de l'art. 106 al. 2 LTF et sont, par conséquent, irrecevables.
L'objet du litige est circonscrit par l'arrêt attaqué au refus d'un transfert dans un autre établissement. Dans la mesure où le recourant rediscute la constatation de l'échec de la mesure thérapeutique institutionnelle au sens de l'art. 59 CP, ses critiques sont irrecevables, celles-ci ne faisant pas l'objet de la décision cantonale (cf. art. 80 al. 1 LTF).
Pour le surplus, le recourant prétend à une violation du droit, en particulier des art. 74 et 75 CP, sans qu'il ne consacre toutefois aucune motivation à cette critique qui permettrait de comprendre en quoi tel serait le cas. Par ailleurs, le recourant ne conteste pas l'existence du risque de récidive, en particulier pour des crimes sexuels. Le recourant ne démontre aucunement en quoi les considérations cantonales violeraient le droit et ne présente aucun grief répondant aux exigences de motivation de l'art. 42 al. 2 LTF.
6.
Au vu de ce qui précède, le recours doit être déclaré irrecevable en application de l'art. 108 al. 1 let. b LTF. Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (art. 64 al. 1 LTF). Le recourant, qui succombe, supporte les frais judiciaires (art. 66 al. 1 LTF), fixés en tenant compte de sa situation.
Par ces motifs, la Présidente prononce :
1.
Le recours est irrecevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais.
Lausanne, le 14 juillet 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Meriboute