Faits :
A.
Par jugement du 31 mars 2021, la Cour pénale II du Tribunal cantonal valaisan a reconnu A._ coupable d'incendie intentionnel et d'actes préparatoires délictueux en vue d'incendie intentionnel et l'a condamné à 15 mois de privation de liberté, sous déduction de la détention provisoire subie et, le cas échéant, de la durée de la privation de liberté entraînée par l'exécution de la mesure thérapeutique institutionnelle ordonnée par cette même décision. A._ a été maintenu en détention pour des motifs de sûretés jusqu'à l'entrée en force de cette décision. Il a, en outre, été condamné à payer 1'084 fr. avec intérêt à 5% l'an dès le 31 janvier 2020 à B._ ainsi que 14'765 fr. 66 avec intérêt à 5% l'an dès le 21 février 2020 à C._ SA, les prétentions civiles de la police cantonale valaisanne étant réservées et renvoyées au for ordinaire. Ce jugement se prononce également sur le sort de divers objets séquestrés, ainsi que sur les frais de la procédure et le montant de l'indemnité à verser au défenseur d'office du recourant.
B.
Par acte du 29 avril 2021, A._ demande la réforme de cet arrêt dans le sens de son acquittement et de la levée de la mesure institutionnelle, soit de sa libération.

Considérant en droit :
1.
Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 1.1 p. 503; sur la notion d'arbitraire v. <ref-ruling> consid. 2.3.1 p. 244). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; ATF <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.1 p. 156). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence (art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP), le principe in dubio pro reo n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 156; <ref-ruling> consid. 1.1 p. 503).
2.
En l'espèce, discutant exclusivement les faits retenus par la cour cantonale, le recourant n'invoque expressément la violation d'aucun droit fondamental. Il ne mentionne singulièrement, ni l'interdiction de l'arbitraire (art. 9 Cst.) ni la présomption d'innocence (art. 32 al. 1 Cst.). Il objecte, en résumé, que des rapports de police auxquels s'est référée la cour cantonale seraient " faux ", respectivement " truffés de mensonges ". Il conteste aussi les conclusions des experts psychiatres, " qui ne correspondraient pas à sa personnalité ". Certaines preuves auraient été modifiées, ainsi notamment de la date et de l'heure d'une photo prise depuis son appartement. Le recourant se limite de la sorte à opposer sa propre lecture des éléments de preuve sur lesquels s'est fondée la cour cantonale. Une telle argumentation est de nature essentiellement appellatoire. Elle est, dans cette mesure, irrecevable dans le recours en matière pénale. Elle n'est, de toute manière, pas de nature à démontrer qu'il s'imposerait de s'écarter des constatations de fait sur lesquelles repose la décision querellée et le recourant n'expose, pour le surplus, d'aucune manière en quoi cette décision violerait le droit (<ref-law>). Le recours apparaît ainsi manifestement infondé et l'on peut se limiter à renvoyer aux considérants de la décision cantonale, qui ne prêtent pas le flanc à la critique (<ref-law>).
3.
Il y a lieu de statuer exceptionnellement sans frais (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton du Valais, Cour pénale II, et à l'Autorité intercommunale de protection de l'enfant et de l'adulte de Sion et Région.
Lausanne, le 2 juin 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
Le Greffier : Vallat