Faits :
A.
A.a. Le 8 mai 2008, les époux A._ ont signé une convention au terme de laquelle la commune de U._ s'est engagée à leur verser un montant de 10'000 fr. à titre de subvention pour la construction de leur maison. L'octroi de cette subvention était soumise aux conditions du maintien de l'usage de l'immeuble en résidence principale et de la conservation par les époux de leur domicile légal sur la commune pendant quinze ans; si l'une de ces conditions venait à ne plus être remplie, la somme de 10'000 fr. devait être remboursée immédiatement et un intérêt moratoire de 5% l'an courait dès l'exigibilité du remboursement.
A.b. Les époux A._ ne sont plus domiciliés sur la commune de U._ depuis 2012 pour l'un et 2016 pour l'autre.
A.c. Par courrier du 31 octobre 2017, la commune de U._ a sollicité de A.A._ le remboursement du montant de 10'000 fr. Le 5 février 2018, elle a réduit ce montant à 2'500 fr.
A.d. A.A._ a formé une opposition totale au commandement de payer que l'Office des poursuites de Martigny et St-Maurice lui avait notifié à l'instance de la commune de U._ dans la poursuite n° xxxxxxx.
B.
B.a.
B.a.a. Par décision du 24 octobre 2018, la juge suppléante du Tribunal des districts de Martigny et St-Maurice (ci-après: la juge suppléante) a levé définitivement l'opposition formée au commandement de payer susmentionné.
B.a.b. Suite à la requête en rectification du dispositif de cette décision déposée par A.A._, la juge suppléante a rectifié sa décision le 7 novembre 2018. Elle en a modifié le dispositif en ce sens qu'elle a levé provisoirement l'opposition formée au commandement de payer.
B.b. Par décision du 6 décembre 2018, la Chambre civile du Tribunal cantonal du Valais a rejeté le recours interjeté par A.A._ contre la décision du 24 octobre 2018, rectifiée le 7 novembre 2018, dans la mesure de sa recevabilité.
C.
Par acte posté le 10 janvier 2019, A.A._ exerce un recours en matière civile et un recours constitutionnel subsidiaire contre cette décision. Il conclut à sa réforme, en ce sens que la requête de mainlevée provisoire concernant une prétention de droit public est déclarée nulle, subsidiairement annulée, en tout état de cause rejetée. En substance, il se plaint de la violation de son droit d'être entendu (art. 29 al. 2 Cst.), d'arbitraire (art. 9 Cst.) dans l'application de l'<ref-law> et de la violation de ses droits à la liberté personnelle (art. 10 Cst.), au mariage et à la famille (art. 14 Cst.), de sa liberté d'établissement (art. 24 Cst.) et de sa liberté économique (art. 27 Cst.).
Des observations n'ont pas été requises.

Considérant en droit :
1.
1.1. La décision entreprise ayant été rendue dans une cause portant sur la mainlevée provisoire de l'opposition, à savoir une affaire sujette au recours en matière civile (<ref-law>; <ref-ruling> consid. 1.1), le présent recours est en principe recevable de ce chef.
1.2. Le contentieux de la mainlevée d'opposition (<ref-law>) est de nature pécuniaire (<ref-ruling> consid. 1.3), de sorte qu'il peut faire l'objet d'un recours en matière civile lorsque la valeur litigieuse minimale de 30'000 fr. est atteinte (<ref-law>) ou, exceptionnellement et pour autant que cela soit démontré (<ref-law>; <ref-ruling> consid. 2.2.2.1), lorsqu'il soulève une question juridique de principe (<ref-law>). En l'espèce, la valeur litigieuse est largement inférieure à 30'000 fr., ce qui n'est pas contesté. Le recourant soutient cependant que la question de savoir si la décision de mainlevée provisoire rendue à tort concernant une prétention de droit public est nulle ou annulable constitue une question juridique de principe.
1.3.
1.3.1. La jurisprudence applique restrictivement l'<ref-law>, qui permet de déroger à l'exigence d'une valeur litigieuse minimale dans les affaires pécuniaires. Il ne suffit pas qu'une question juridique n'ait jamais été tranchée par le Tribunal fédéral. Encore faut-il qu'il soit nécessaire, pour résoudre le cas d'espèce, de trancher une question juridique donnant lieu à une incertitude caractérisée, laquelle appelle de manière pressante un éclaircissement de la part du Tribunal fédéral en tant qu'autorité judiciaire suprême chargée de dégager une interprétation uniforme du droit fédéral (<ref-ruling> consid. 1; <ref-ruling> consid. 1.4.1; <ref-ruling> consid. 1.2 et les références). La question soumise doit être de portée générale; la décision à rendre par le Tribunal fédéral doit être propre à orienter la pratique, en permettant aux instances inférieures de trancher de nombreux cas similaires (<ref-ruling> consid. 1.3; <ref-ruling> consid. 1.3). Cette condition n'est pas remplie lorsque le litige en cause présente des particularités dont les autres affaires sont généralement dépourvues (<ref-ruling> consid. 4; arrêt 4A_684/2015 du 19 avril 2016 consid. 1.3). Il y a également lieu d'examiner s'il est probable ou non que la question litigieuse puisse un jour être présentée avec une valeur litigieuse suffisante pour ouvrir le recours en matière civile (<ref-ruling> consid. 1.2, 267 consid. 1.2.3; cf. également <ref-ruling> consid. 1). Si le point soulevé ne concerne que l'application de principes jurisprudentiels à un cas particulier, il ne saurait être qualifié de question juridique de principe (ATF <ref-ruling> consid. 1.4.1 et les références).
1.3.2. En l'espèce, il suffit de constater qu'il est probable que la question litigieuse puisse être présentée un jour avec une valeur atteignant 30'000 fr. pour refuser d'admettre la question juridique de principe.
1.4. Pour le surplus, le recours constitutionnel subsidiaire a été formé dans le délai légal (art. 100 al. 1 et 117 LTF) et en la forme prévue par la loi (art. 42 et 119 al. 1 LTF) à l'encontre d'une décision finale (art. 90 et 117 LTF; <ref-ruling> consid. 1.1) prise par un tribunal supérieur ayant statué sur recours (art. 75 et 114 LTF); le recourant, qui a succombé devant la juridiction précédente, possède un intérêt juridique à l'annulation ou à la modification de la décision attaquée (<ref-law>).
2.
2.1. Le recours constitutionnel peut être formé uniquement pour violation des droits constitutionnels (<ref-law>). Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés (art. 106 al. 2 et 117 LTF), c'est-à-dire expressément soulevés et exposés de façon claire et détaillée (principe d'allégation; <ref-ruling> consid. 1.4). Il n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.3; <ref-ruling> consid. 3). Le recourant qui se plaint d'arbitraire ne saurait, dès lors, se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit démontrer, par une argumentation précise, que cette décision est manifestement insoutenable. L'arbitraire prohibé par l'art. 9 Cst. ne résulte pas du seul fait qu'une autre solution serait concevable, voire préférable; le Tribunal fédéral ne s'écarte de la décision attaquée que lorsque celle-ci est manifestement insoutenable, viole gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice ou de l'équité. Il ne suffit pas que la motivation de cette décision soit insoutenable; encore faut-il qu'elle soit arbitraire dans son résultat (<ref-ruling> consid. 3.1; <ref-ruling> consid. 5.1; <ref-ruling> consid. 4.4.1).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut néanmoins rectifier ou compléter les constatations de cette autorité si les faits ont été constatés en violation d'un droit constitutionnel (art. 118 al. 2 et 116 LTF), ce que le recourant doit démontrer d'une manière circonstanciée et précise, conformément aux exigences de motivation de l'<ref-law> (par renvoi de l'<ref-law>; cf. supra consid. 2.1).
Il suit de là que, dans la mesure où, dans la partie " Faits " de son recours, le recourant s'écarte des constatations de l'arrêt entrepris, les complète ou les modifie sans invoquer, ni a fortiori démontrer, que celles-ci auraient été arbitrairement établies ou omises, son exposé est irrecevable.
3.
L'autorité cantonale a jugé que le premier juge n'avait pas, contrairement à ce que plaidait le recourant, violé le droit d'être entendu de ce dernier en ne tenant pas l'audience à laquelle il avait pourtant cité les parties. Elle a relevé que ce magistrat avait indiqué à deux reprises dans la citation à comparaître qu'il serait procédé nonobstant la présence des parties, présence qui n'était en outre pas nécessaire pour autant que toutes les pièces fussent déposées avant la séance, et que le recourant s'était déterminé par écrit le 19 octobre 2018. Elle a conclu que, de la sorte, le recourant avait pu exprimer ses motifs.
L'autorité cantonale a ensuite jugé que, dans sa motivation sur la nullité de la convention, le recourant se bornait à reprendre ses arguments formulés en première instance sans s'en prendre à la motivation de la décision entreprise au terme de laquelle la convention ne restreignait aucune des libertés constitutionnelles qu'il énumérait, de sorte que son grief était irrecevable.
Elle en a jugé de même s'agissant du grief portant sur le vice de représentation de la poursuivante, représentation que le premier magistrat a considérée conforme aux réquisits de l'art. 97 de la loi valaisanne sur les communes.
Enfin, elle a également jugé irrecevable, pour les mêmes motifs, le grief relatif à la prescription que le premier juge avait considérée comme non acquise puisque le délai ne commençait à courir que depuis le déménagement des époux.
4.
Le recourant se plaint de la violation de son droit d'être entendu (art. 29 al. 2 Cst.).
4.1. Sous un premier aspect, il se borne, de manière irrecevable, à répéter sa motivation présentée en instance cantonale, soit qu'aucune audience ne s'est tenue en première instance malgré la citation à comparaître, sans s'attaquer à la motivation de l'arrêt cantonal selon laquelle sa détermination écrite du 19 octobre 2018 suffisait à préserver son droit d'être entendu. Il allègue en outre un fait qui ne ressort pas de l'arrêt attaqué, à savoir qu'il se serait présenté à l'audience, sans dénoncer son omission arbitraire (art. 9 Cst.), de sorte que celui-ci est irrecevable (<ref-law>).
4.2. Sous un second aspect, le recourant reproche à l'autorité cantonale de n'avoir pas traité la question de la nature de la créance litigieuse, de droit public ou de droit privé, alors qu'elle aurait dû résoudre d'office celle-ci, étant donné que, si la commune disposait d'un pouvoir de décision en la matière, seule la mainlevée définitive devrait être prononcée. A l'appui de son propos, il se réfère à une décision du 20 novembre 2018 du Tribunal de Martigny et St-Maurice, déclarant irrecevable son action en libération de dette pour défaut de compétence à raison de la matière, la convention du 8 mai 2008 relevant du droit public. L'argument manque sa cible. L'autorité cantonale ayant confirmé l'octroi de la mainlevée provisoire, il appartient au recourant de démontrer qu'une telle confirmation est arbitraire (art. 9 Cst.) au motif que seule la mainlevée définitive aurait dû être accordée, ce qu'il tente d'ailleurs de faire dans son grief suivant (cf. infra consid. 5).
4.3. Il suit de là que le grief de violation du droit d'être entendu doit être déclaré irrecevable.
5.
Le recourant se plaint d'arbitraire (art. 9 Cst.) dans l'application de l'<ref-law>. Il soutient que la mainlevée provisoire a été octroyée à tort vu que la créance mise en poursuite est de droit public, de sorte que seule la mainlevée définitive peut être prononcée, et qu'il ne pourra par la suite pas ouvrir d'action en libération de dette devant le juge civil.
5.1. Les dettes de droit public ne peuvent en principe pas faire l'objet d'une procédure de mainlevée provisoire. Ces prétentions doivent d'abord faire l'objet d'une décision, cette décision constituant ensuite un titre de mainlevée définitive (cf. <ref-law>; arrêts 5A_896/2013 du 8 janvier 2014 consid. 1.3, publié in ASA 82 p. 481; 5A_473/2016 du 15 novembre 2016 consid. 3.1, publié in BlSchK 2017 p. 119). Lorsque l'autorité en cause bénéficie d'un pouvoir décisionnel, elle doit impérativement utiliser cette voie. Un éventuel accord passé avec l'administré ne saurait prévaloir (arrêt 5A_473/2016 précité consid. 3.2). Ce n'est que lorsque l'autorité ne peut rendre de décision pour fixer la créance de droit public due par l'administré, et qu'il lui appartient donc d'agir par la voie de l'action de droit administratif, qu'une mainlevée provisoire est envisageable (arrêt 2C_350/2017 du 7 décembre 2017 consid. 5.1, publié in JdT 2018 III p. 39).
5.2. En l'espèce, le recourant ne présente pas le contenu du droit cantonal ou communal en matière de subventionnement. Il n'évoque même pas le pouvoir décisionnel de la commune sur la révocation de la subvention. De la décision d'irrecevabilité du 20 novembre 2018 qu'il invoque - à supposer que cette pièce soit même recevable (<ref-law>), étant précisé que l'autorité cantonale n'en tient pas compte sans que le recourant ne dénonce son omission arbitraire -, il ressort que le juge du Tribunal de Martigny et St-Maurice ne se prononce pas sur la question de savoir si la commune dispose d'un pourvoir de décision en la matière; il statue seulement sur l'irrecevabilité de l'action en libération de dette pour défaut de compétence à raison de la matière (<ref-law>). Or, si la mainlevée provisoire peut exceptionnellement être accordée pour une prétention de droit public, on soutient en doctrine que l'action en libération de dette pourrait être ouverte devant le tribunal administratif, si celui-ci est compétent pour statuer sur la créance mise en poursuite (STAEHELIN, in Basler Kommentar, SchKG I, 2 ème éd. 2010, n° 43 ad <ref-law>). A l'évidence, le recourant ne démontre ainsi pas l'arbitraire de la décision, de sorte que le grief doit être rejeté pour autant que recevable.
6.
Le recourant se plaint encore de la violation de libertés constitutionnelles (art. 10, 14, 24 et 27 Cst.) ainsi que de l'absence de reconnaissance de dette. Il ne s'attaque toutefois pas à la motivation de l'autorité cantonale qui a jugé ces griefs irrecevables (<ref-law>).
7.
Le recourant soulève enfin le grief de la violation de l'<ref-law>. Il ne s'agit pas là d'un grief d'ordre constitutionnel, de sorte qu'il doit être déclaré irrecevable.
8.
En définitive, le recours en matière civile est irrecevable. Le recours constitutionnel subsidiaire est rejeté, dans la faible mesure de sa recevabilité, aux frais de son auteur qui succombe (<ref-law>). Des dépens ne sont pas dus (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière civile est irrecevable.
2.
Le recours constitutionnel subsidiaire est rejeté, dans la mesure où il est recevable.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Chambre civile du Tribunal cantonal du Valais.
Lausanne, le 31 mai 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Achtari