Faits :
A.
Par arrêt du 27 mars 2019, la Cour de droit public du Tribunal cantonal valaisan a admis le recours interjeté par A._ contre la décision sur réclamation du 9 janvier 2019 de l'Office des sanctions et des mesures d'accompagnement (OSAMA) confirmant le refus d'exécution d'une peine privative de liberté de 2 mois sous forme de surveillance électronique. La Cour de droit public a annulé la décision attaquée et renvoyé la cause à l'OSAMA pour nouvelle décision dans le sens des considérants.
B.
Le Conseil d'Etat du canton du Valais forme un recours intitulé " recours en matière de droit public, subsidiairement recours constitutionnel subsidiaire " contre l'arrêt précité. Il conclut en substance, avec suite de frais et dépens, à sa réforme, en ce sens que la décision de refus d'exécution de peine sous forme de surveillance électronique du 28 novembre 2018 soit confirmée.
Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF) et contrôle librement la recevabilité des recours qui lui sont soumis (ATF 143 IV 357 consid. 1 p. 358).
1.1. L'arrêt querellé concerne une question d'exécution de peine (cf. art. 79b CP). Seule la voie du recours en matière pénale est par conséquent ouverte (art. 78 al. 2 let. b LTF), le recours constitutionnel subsidiaire étant exclu (art. 113 LTF; arrêt 6B_213/2017 du 8 mars 2017 consid. 1).
1.2. Un recours mal intitulé ne nuit pas à son auteur mais doit être converti si les conditions de recevabilité du recours qui aurait dû être interjeté sont réunies (ATF 134 III 379 consid. 1.2 p. 382; arrêt 6B_736/2016 du 9 juin 2017 consid. 1.1).
En l'espèce, le recours, qui doit être traité comme un recours en matière pénale, seule voie de droit ouverte, émane du Conseil d'Etat valaisan. Or, un gouvernement cantonal n'a pas qualité pour recourir s'agissant d'un recours en matière pénale (art. 81 LTF; ATF 139 I 51 consid. 2.3 p. 53; 133 IV 121 consid. 1.1 et 1.2 p. 123 s.; arrêt 6B_213/2017 précité consid. 1). Les développements du recourant concernant la recevabilité du recours en matière de droit public et sa qualité pour recourir sous l'angle de l'art. 89 LTF n'y changent rien. Au surplus, le recourant prétend que l'arrêt attaqué revêt un caractère final au sens de l'art. 90 LTF, alors que la cour cantonale a annulé la décision entreprise et renvoyé la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il s'agit par conséquent d'un arrêt de renvoi, en principe assimilé à une décision incidente contre laquelle le recours au Tribunal fédéral n'est ouvert qu'aux conditions des art. 92 et 93 LTF (cf. ATF 138 I 143 consid. 1.2 p. 148; arrêt 6B_491/2018 du 18 décembre 2018 consid. 1.1 et les références citées). Quoiqu'il lui incombe d'exposer en quoi les conditions de ces dispositions sont susceptibles d'être remplies (cf. ATF 136 IV 92 consid. 4 p. 95; arrêt 6B_491/2018 précité consid. 1.2 et les références citées), le recourant n'en dit mot.
2.
Au vu de ce qui précède, le recours doit être déclaré irrecevable (art. 108 al. 1 let. a LTF). Il n'y a pas lieu de percevoir de frais judiciaires (art. 66 al. 4 LTF).
Par ces motifs, le Président prononce :
1.
Le recours est irrecevable.
2.
Il n'est pas perçu de frais.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Cour de droit public.
Lausanne, le 20 mai 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Dyens