Faits :
A.
Le 27 novembre 2018, un officier de service de la Police cantonale du Valais a expulsé pour 7 jours, soit jusqu'au 4 décembre 2018 à 20h00, B._ du logement qu'elle habitait à U._ avec son compagnon, A._, dont elle a deux enfants nés en 2016 et 2017.
Pendant ces 7 jours, B._ ne pouvait ni s'adresser à A._, ni s'approcher à moins de 100 mètres de son habitation; elle devait déposer toutes ses clés de cet endroit et prendre rendez-vous dans les trois jours ouvrables avec un organisme ou un professionnel habilité à recevoir des auteurs de violences domestiques, puis se présenter à cet entretien.
L'expulsion a été signifiée par écrit à B._ le 27 novembre 2018 à 20h00.
B.
B.a. B._ a recouru le 28 novembre 2018 contre cette décision en concluant à son annulation. Elle qualifiait les faits du 27 novembre 2018 de violences domestiques, mais alléguait s'être bornée à se défendre contre A._ qui l'avait verbalement et physiquement agressée et aurait, de ce chef, dû être expulsé de leur appartement. Elle se plaignait de l'impossibilité où la décision critiquée la mettait d'avoir des nouvelles de ses enfants restés avec leur père.
Le 4 décembre 2018, l'autorité attaquée a proposé de débouter la recourante en situant vers 18h45 le début de l'altercation entre les prénommés et vers 19h00 l'arrivée des policiers d'une unité mobile à leur logement.
A._ n'a pas répondu au recours.
B.b. Par arrêt du 23 janvier 2019, le Juge unique de la Cour de droit public du Tribunal cantonal valaisan a admis le recours et annulé la décision attaquée.
C.
Par acte posté le 25 février 2019, A._ exerce un recours en matière de droit public au Tribunal fédéral contre l'arrêt du 23 janvier 2019. Il conclut à son annulation et à la confirmation de la décision de l'officier de service de la Police cantonale du Valais du 27 novembre 2018.
Des déterminations n'ont pas été requises.

Considérant en droit :
1.
La décision entreprise est une décision finale (<ref-law>), qui concerne la protection contre la violence domestique, laquelle fait partie de la personnalité réglée aux art. 28 à 28l CC (cf. Message du 11 octobre 2017 concernant la loi fédérale sur l'amélioration de la protection des victimes de violence, FF 2017 6925). Expressément fondée sur l'<ref-law>, elle est donc sujette au recours en matière civile (<ref-law>), étant précisé que l'intitulé erroné d'un recours ne nuit pas à son auteur, pour autant que les conditions de recevabilité du recours qui aurait dû être déposé soient réunies (notamment: <ref-ruling> consid. 2.1).
Le recours a par ailleurs été déposé en temps utile (<ref-law>) contre une décision rendue par une juridiction ayant statué sur recours en dernière instance cantonale (art. 75 al. 1 et 2 LTF), dans une cause non pécuniaire.
2.
2.1. Selon l'<ref-law>, a qualité pour former un recours en matière civile quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let. a) et est particulièrement touché par la décision attaquée et a un intérêt digne de protection à son annulation ou sa modification (let. b). Cet intérêt doit être actuel et pratique, c'est-à-dire qu'il doit exister non seulement au moment du dépôt du recours, mais encore au moment où l'arrêt est rendu (<ref-ruling> consid. 4.2; <ref-ruling> consid. 2.1). Inspiré du souci de l'économie de la procédure, cette exigence vise à garantir que celui-ci se prononce sur des questions concrètes et non pas simplement théoriques; aussi l'intérêt actuel requis fera-t-il défaut, en général, lorsque la décision attaquée a été exécutée ou est devenue sans objet (<ref-ruling> consid. 4a) ou encore lorsque l'admission du recours ne permettrait pas la réparation du préjudice subi (cf. <ref-ruling> consid. 2b; <ref-ruling> consid. 5b et les références). Le Tribunal fédéral renonce à l'exigence d'un intérêt actuel lorsque cette condition de recours fait obstacle au contrôle de la constitutionnalité d'un acte qui peut se reproduire en tout temps, dans des circonstances semblables et qui, en raison de sa brève durée, échapperait toujours à sa censure (<ref-ruling> consid. 1.2; <ref-ruling> consid. 1a et les références).
A moins que son intérêt ne soit évident sur la base de la décision attaquée et du dossier, il incombe à la partie recourante d'alléguer les faits qui permettent de constater la recevabilité de son recours, en particulier qu'elle a un intérêt à recourir (<ref-ruling> consid. 1.2; <ref-ruling> consid. 1).
Le Tribunal fédéral déclare le recours irrecevable lorsque l'intérêt digne de protection fait défaut au moment du dépôt du recours. En revanche, si cet intérêt disparaît en cours de procédure, le recours devient sans objet (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1; <ref-ruling> consid. 1.3.1 et les références).
2.2. En l'espèce, la mesure litigieuse a cessé de déployer ses effets depuis le 4 décembre 2018, si bien que l'intérêt du recourant à l'admission de son recours avait déjà disparu avant le dépôt de celui-ci. Les explications fournies dans les écritures de recours ne permettent à l'évidence pas de considérer qu'il faudrait ici faire exception à l'exigence d'un intérêt actuel et pratique. Pour toute motivation, le recourant se borne en effet à alléguer que l'arrêt querellé a été invoqué, respectivement déposé, dans le cadre de deux procédures parallèles qui le divisent d'avec l'intimée et qu'il existe un risque qu'il passe " pour un père abusif par rapport à sa compagne ". Ce faisant, le recourant perd de vue l'objet de la décision d'expulsion qu'il souhaite voir confirmée. Or, celle-ci n'est pas dirigée contre lui, mais touche la situation juridique de l'intimée. Il s'ensuit que le recourant - qui ne l'invoque au demeurant pas expressément - ne saurait se prévaloir de l'exception à l'exigence d'un intérêt actuel, telle qu'elle a été réservée plus haut (cf. supra consid. 2.1).
Au vu de ce qui précède, il ne saurait être entré en matière sur le recours en tant que le recourant critique l'appréciation des preuves et fait valoir que la motivation cantonale n'est pas correcte d'un point de vue matériel.
3.
Le recourant se plaint également en substance de la violation de ses droits procéduraux, en tant que son avocate n'aurait pas reçu à tout le moins copie des " correspondances ", respectivement des " pièces ", qui lui avaient été directement adressées par le Tribunal cantonal, alors que le mandat conféré à son avocate était connu de cette autorité depuis le 29 novembre 2018. Il faut ainsi admettre qu'il fait valoir un droit qui lui est propre et digne de protection à l'annulation ou à la modification de la décision querellée (<ref-law>) et, dans cette mesure, qu'il est légitimé à recourir au Tribunal fédéral (<ref-ruling> consid. 1.9, 41 consid. 1.4 et les références). Cela étant, force est de constater que le grief est insuffisamment motivé. Le recourant se borne en effet à invoquer une prétendue violation des " us et coutumes de la profession " et à alléguer que, " peu au fait des arcanes judiciaires ", il n'avait - sans que l'on puisse " retenir une négligence de sa part " - pas " réagi au document transmis ", " pensant à tort que cette procédure ne le concernait pas ". Il ne fait notamment valoir aucune violation du droit d'être entendu (art. 29 al. 2 Cst.), de sorte qu'il n'y a pas lieu d'entrer plus avant sur ces critiques (<ref-law>).
4.
En définitive, le recours est irrecevable, aux frais de son auteur (<ref-law>). Il n'y a pas lieu d'allouer de dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais et à la Police cantonale.
Lausanne, le 24 avril 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Hildbrand