Faits :
A.
Par arrêt du 12 janvier 2017, la Cour de droit public du Tribunal cantonal du canton du Valais a admis le recours interjeté par X._ contre une décision du 24 octobre 2016 lui infligeant trois jours d'arrêt dans le cadre de l'exécution d'une mesure institutionnelle thérapeutique à la Prison des Iles à Sion, pour le motif qu'il avait refusé de regagner sa cellule.
B.
Le Conseil d'Etat du canton du Valais forme un recours intitulé " recours en matière de droit public, subsidiairement recours constitutionnel subsidiaire " à l'encontre de l'arrêt du 12 janvier 2017, concluant principalement à sa réforme en ce sens que la sanction disciplinaire est confirmée; subsidiairement, il sollicite l'annulation de l'arrêt et le renvoi en instance cantonale.
Considérant en droit :
1.
Les prononcés disciplinaires rendus contre les détenus en application du droit cantonal édicté sur la base de la délégation de compétence de l'art. 91 al. 3 CP peuvent faire l'objet d'un recours en matière pénale au Tribunal fédéral (art. 78 al. 2 let. b LTF). Tel est le cas en l'espèce, la mesure disciplinaire litigieuse reposant sur les art. 54 à 58 de l'ordonnance valaisanne du 18 décembre 2013 sur les droits et les devoirs de la personne détenue (ODDD/VS; RS/VS 340.100). Seul le recours en matière pénale est par conséquent ouvert, le recours constitutionnel subsidiaire étant exclu (art. 113 LTF).
2.
Un recours mal intitulé ne nuit pas à son auteur mais doit être converti si les conditions de recevabilité du recours qui aurait dû être interjeté sont réunies (ATF 134 III 379 consid. 1.2 p. 382). En l'espèce, le recours, qui doit être traité comme un recours en matière pénale, seule voie de droit ouverte, émane du Conseil d'Etat valaisan. Or, un gouvernement cantonal n'a pas qualité pour recourir s'agissant d'un recours en matière pénale (art. 81 LTF; ATF 139 I 51 consid. 2.3 p. 53). Il s'ensuit que le recours est irrecevable.
3.
On peut s'interroger sur l'opportunité du recours et, vu son sort, s'il ne justifierait pas exceptionnellement de mettre des frais à la charge de son auteur (art. 66 al. 4 LTF). Il peut néanmoins y être renoncé.
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Il n'est pas perçu de frais judiciaire.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Cour de droit public.
Lausanne, le 8 mars 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod