Faits :
A.
A.a. En 2014, A.A._ et son épouse B.A._ ont mandaté la société D._ GmbH, dont l'associé et gérant est E._, architecte, pour surveiller les travaux de construction de leur villa à U._ et valider les factures des entrepreneurs.
A.b. C._ Sàrl est une société active dans le domaine de la construction.
Le 4 mars 2014, celle-ci a dressé un devis pour l'exécution de travaux sur la parcelle des époux A._ qui ont alors signé quatre ordres d'exécution correspondant les 22 mai et 22 juillet 2014. Ils se sont également acquittés de deux factures, des 14 septembre 2014 et 8 mai 2015, directement auprès de la société.
La société a émis une facture le 31 décembre 2016 d'un montant de 22'882 fr. 90, sur laquelle est apposé le tampon humide du bureau d'architecture E._ ainsi que la signature de celui-ci, précédée de la mention " i. O. ". Les époux A._ n'ont pas payé cette facture.
A.c. A l'instance de C._ Sàrl, l'Office des poursuites et faillites des districts de Martigny et Entremont a notifié le 6 octobre 2017 un commandement de payer le montant de 22'882 fr. 90, avec intérêt à 5% dès le 12 décembre 2015, à A.A._ dans la poursuite n° xxxxxxx et un commandement de payer le même montant à B.A._ dans la poursuite n° yyyyyyy. Chaque commandement de payer indiquait comme titre de l'obligation un contrat d'entreprise portant sur des travaux réalisés entre le 4 mars 2014 et le 11 décembre 2015, sur la parcelle sise à U._ - facture n° zz''zzz-zz du 31 décembre 2016.
Chaque poursuivi a fait opposition totale.
B.
B.a. Par décisions du 29 janvier 2018, la juge suppléante des districts de Martigny et St-Maurice a levé provisoirement l'opposition dans chaque poursuite, à concurrence de 22'882 fr. 90, avec intérêts à 5% l'an, dès le 22 avril 2017. Pour retenir l'existence d'un titre de mainlevée provisoire, elle s'est notamment fondée sur la facture du 31 décembre 2016, d'un montant de 22'882 fr. 90 portant une signature, selon elle en remplacement de E._, datée du 11 juillet 2017, et sur le mandat d'architecte signé par les époux en 2014 (cf. supra A.a), dont il ressortait que le mandataire avait entre autres pour tâche de contrôler des factures selon le contrat de l'entrepreneur.
B.b. Par arrêts du 30 janvier 2019, le Tribunal cantonal valaisan a rejeté, dans le mesure de sa recevabilité, le recours que chaque poursuivi a interjeté contre les décisions de mainlevée précitées.
C.
Par actes postés le 28 février 2012, chaque poursuivi interjette un recours en matière civile devant le Tribunal fédéral contre les arrêts précités. Ils concluent, principalement, à leur réforme, en ce sens que les requêtes de mainlevée provisoire sont rejetées, et, subsidiairement, à leur annulation et au renvoi des causes à l'autorité cantonale pour nouvelles décisions dans le sens des considérants. Ils se plaignent d'arbitraire dans la constatation des faits (art. 9 Cst.) et de la violation de l'<ref-law>.
Des observations au fond n'ont pas été requises.
D.
Par ordonnances du 25 mars 2019, les requêtes d'effet suspensif assortissant chaque recours ont été rejetées.

Considérant en droit :
1.
1.1. Les deux recours sont dirigés contre des décisions séparées mais qui reposent sur le même complexe de faits et opposent le même poursuivant à deux débiteurs qu'il considère solidaires de sa créance en paiement d'une somme d'argent; dans ces circonstances, il y a lieu, par économie de procédure, de joindre les deux causes et de statuer à leur sujet par un seul arrêt (<ref-law>, applicable par analogie en raison du renvoi de l'<ref-law>).
1.2.
1.2.1. Les décisions entreprises ayant été rendues dans une cause portant sur la mainlevée provisoire de l'opposition, à savoir une affaire sujette au recours en matière civile (<ref-law>; <ref-ruling> consid. 1.1), le présent recours est en principe recevable de ce chef.
1.2.2. Le contentieux de la mainlevée d'opposition (<ref-law>) est de nature pécuniaire (<ref-ruling> consid. 1.3), de sorte qu'il peut faire l'objet d'un recours en matière civile lorsque la valeur litigieuse minimale de 30'000 fr. est atteinte (<ref-law>) ou, exceptionnellement et pour autant que cela soit démontré (<ref-law>; <ref-ruling> consid. 2.2.2.1), lorsqu'il soulève une question juridique de principe (<ref-law>).
En l'espèce, la valeur litigieuse est inférieure à 30'000 fr., ce qui n'est pas contesté. Les recourants soutiennent cependant que leur cause soulève une question juridique de principe au motif que les décisions attaquées sont en contradiction avec une décision rendue le 12 septembre 2018 par la Cour des poursuites et faillites du Tribunal cantonal du canton de Vaud, dans une affaire ayant pour parties leurs voisins contre l'intimée pour des faits similaires, en particulier en ce qui concerne la signature apposée a posteriori par leur architecte commun sur la facture finale émise par l'intimée. Ils soutiennent également que la procédure permettrait d'éviter une procédure au fond longue et coûteuse.
1.2.3. La jurisprudence applique restrictivement l'<ref-law>, qui permet de déroger à l'exigence d'une valeur litigieuse minimale dans les affaires pécuniaires. Il ne suffit pas qu'une question juridique n'ait jamais été tranchée par le Tribunal fédéral. Encore faut-il qu'il soit nécessaire, pour résoudre le cas d'espèce, de trancher une question juridique donnant lieu à une incertitude caractérisée, laquelle appelle de manière pressante un éclaircissement de la part du Tribunal fédéral en tant qu'autorité judiciaire suprême chargée de dégager une interprétation uniforme du droit fédéral (<ref-ruling> consid. 1; <ref-ruling> consid. 1.4.1; <ref-ruling> consid. 1.2 et les références). La question soumise doit être de portée générale; la décision à rendre par le Tribunal fédéral doit être propre à orienter la pratique, en permettant aux instances inférieures de trancher de nombreux cas similaires (<ref-ruling> consid. 1.3; <ref-ruling> consid. 1.3). Cette condition n'est pas remplie lorsque le litige en cause présente des particularités dont les autres affaires sont généralement dépourvues (<ref-ruling> consid. 4; arrêt 4A_684/2015 du 19 avril 2016 consid. 1.3). Si le point soulevé ne concerne que l'application de principes jurisprudentiels à un cas particulier, il ne saurait être qualifié de question juridique de principe (ATF <ref-ruling> consid. 1.4.1 et les références).
1.2.4. En l'espèce, la portée à donner à une signature apposée sur une facture par l'architecte mandaté pour diriger des travaux dépend à l'évidence des circonstances du cas d'espèce et peut se résoudre sur la base des règles régissant le droit des contrats. Il ne s'agit donc pas d'une question juridique de principe au sens précité. Le fait que des tribunaux cantonaux aient donné une réponse différente dans des cas présentant des similitudes ne conduit pas à un autre résultat. Enfin, en invoquant la possibilité d'éviter une procédure longue et coûteuse, les recourants, qui confondent sans doute la motivation de la question juridique de principe avec celle de la recevabilité d'un recours dirigé contre une décision incidente (<ref-law>), n'invoquent pas d'argument pertinent.
Il suit de là que les recours en matière civile sont irrecevables. Toutefois, les actes présentés ont été formés dans le délai légal (art. 100 al. 1 et 117 LTF) et en la forme prévue par la loi (art. 42 et 119 al. 1 LTF) à l'encontre de décisions finales (art. 90 et 117 LTF; <ref-ruling> consid. 1.1) prises par un tribunal supérieur ayant statué sur recours (art. 75 et 114 LTF); les recourants, qui ont succombé devant la juridiction précédente, possèdent un intérêt juridique à l'annulation ou à la modification des décisions attaquées (art. 115LTF). Au vu de ces dispositions, les recours sont donc recevables en tant que recours constitutionnels subsidiaires, étant précisé que l'intitulé erroné d'un recours ne nuit pas à son auteur, pour autant que les conditions de recevabilité du recours qui aurait dû être déposé soient réunies (notamment: <ref-ruling> consid. 2.1).
2.
Il reste cependant à examiner si les recours répondent aux exigences de motivation des griefs de nature constitutionnelle.
2.1. En effet, le recours constitutionnel peut être formé uniquement pour violation des droits constitutionnels (<ref-law>). Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés (art. 106 al. 2 et 117 LTF), c'est-à-dire expressément soulevés et exposés de façon claire et détaillée (principe d'allégation; <ref-ruling> consid. 1.4). Il n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.3; <ref-ruling> consid. 3). Le recourant qui se plaint d'arbitraire ne saurait, dès lors, se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit démontrer, par une argumentation précise, que cette décision est manifestement insoutenable. L'arbitraire prohibé par l'art. 9 Cst. ne résulte pas du seul fait qu'une autre solution serait concevable, voire préférable; le Tribunal fédéral ne s'écarte de la décision attaquée que lorsque celle-ci est manifestement insoutenable, viole gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice ou de l'équité. Il ne suffit pas que la motivation de cette décision soit insoutenable; encore faut-il qu'elle soit arbitraire dans son résultat (<ref-ruling> consid. 3.1; <ref-ruling> consid. 5.1; <ref-ruling> consid. 4.4.1).
2.2. Par ailleurs, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut néanmoins rectifier ou compléter les constatations de cette autorité si les faits ont été constatés en violation d'un droit constitutionnel (art. 118 al. 2 et 116 LTF), ce que le recourant doit démontrer d'une manière circonstanciée et précise, conformément aux exigences de motivation de l'<ref-law> (par renvoi de l'<ref-law>; cf. supra consid. 2.1).
En particulier, en matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 et les références). Le recourant ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont contraires au droit ou entachées d'une erreur indiscutable, c'est-à-dire arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2.2). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-law>; <ref-ruling> consid. 1.4.3).
3.
Les recourants se plaignent d'arbitraire (art. 9 Cst.) dans l'établissement des faits en tant que l'autorité cantonale a considéré qu'ils n'avaient pas démontré que le mandat d'architecture avait pris fin avant le 11 juillet 2017.
3.1. En l'occurrence, l'autorité précédente était saisie d'un recours stricto sensu, recevable pour violation du droit et/ou constatation manifestement inexacte des faits (art. 320 let. a et b CPC). Selon la jurisprudence, " manifestement inexacte " signifie arbitraire au sens de l'art. 9 Cst. (arrêt 4D_13/2015 du 3 juin 2015 consid. 5; cf. aussi <ref-ruling> consid. 1.2.2, concernant les art. 97 et 105 LTF). Le pouvoir d'examen de l'autorité cantonale était donc limité à l'arbitraire s'agissant des faits retenus par le premier juge.
Dans une telle situation, le Tribunal fédéral examine librement la manière dont l'autorité cantonale de dernière instance a fait usage de sa cognition restreinte. Dans le cadre des griefs articulés par la partie recourante, il recherchera si c'est à tort que cette autorité a nié l'arbitraire dans l'appréciation opérée par le premier juge. En effet, il ne saurait y avoir une double limitation du pouvoir d'examen du Tribunal fédéral (interdiction de l' "arbitraire au carré "; arrêts 4D_13/2015 précité consid. 5; 4A_683/2010 du 22 novembre 2011 consid. 2.1; 4D_2/2008 du 28 mars 2008 consid. 2.2).
Cela étant, en l'espèce, l'autorité cantonale n'a même pas contrôlé l'état de fait tel que retenu par le premier juge, dont la constatation relative à l'absence de résiliation du contrat de mandat. En effet, elle a considéré que les recourants se bornaient à présenter leur propre version des faits sans même tenter de démontrer en quoi l'appréciation des preuves par le premier juge était entachée d'arbitraire. Pour cette raison, elle a jugé irrecevable ce procédé. Or, les recourants ne dénoncent pas l'application arbitraire des art. 320 let. b et 321 al. 1 CPC.
Il suit de là que leur grief d'arbitraire dans l'établissement des faits est irrecevable.
4.
Les recourants se plaignent ensuite de la violation de l'<ref-law>.
4.1. Ils soutiennent en substance que l'autorité cantonale a ignoré l'<ref-ruling> dans lequel le Tribunal fédéral a jugé que, pour lier le maître de l'ouvrage, la reconnaissance des factures d'entrepreneurs par l'architecte doit, en règle générale, résulter d'un pouvoir de représentation exprès, et que, en l'occurrence, un tel pouvoir n'existait pas. Ils ajoutent qu'ils ont contesté la facture litigieuse avant la signature par l'architecte, de sorte que l'intimée est de mauvaise foi en se prévalant d'une reconnaissance de dette sur la base de ce document.
4.2. En l'espèce, l'autorité cantonale a retenu que, dans leur détermination déposée en première instance, les recourants avaient admis qu'aux termes du contrat de mandat du 28 juin 2014, l'architecte était habilité à valider les factures des entrepreneurs. Il paraissait dès lors mal venu de leur part de prétendre pour la première fois le contraire, étant précisé que, en raison de son caractère nouveau, cette allégation était quoi qu'il en fût irrecevable en instance de recours. Elle a ajouté que les " conditions et réserves " émises par les époux dans leurs lettres adressées à l'intimée étaient impropres à influencer leur volonté de payer, dès lors que ces courriers étaient tous antérieurs au 11 juillet 2017, date à laquelle leur représentant avait apposé sa signature. Elle a encore précisé que, contrairement à ce qu'avait retenu le premier juge, c'était bien l'architecte E._ lui-même, et non un tiers en remplacement de celui-ci, qui avait apposé sa signature sur la facture du 31 décembre 2016, modifiée le 21 juin 2017, précédée de la mention " i. O. " ( in Ordnung).
Il suit de là que, par leur critique sur ce point, non seulement les recourants ne soulèvent formellement aucun grief de nature constitutionnelle mais ils ne s'attaquent même pas à l'argumentation de l'autorité cantonale, que ce soit dans ses éléments de fait ou dans son application du droit. Partant, une telle critique est irrecevable.
5.
En définitive, les causes 5A_172/2019 et 5A_173/2019 sont jointes. Les recours sont irrecevables, aux frais des recourants qui en sont tenus solidairement (art. 66 al. 1 et 5 LTF). L'intimée, qui n'a pas été invitée à se déterminer au fond mais a été suivie dans les conclusions qu'elle a prises dans ses déterminations sur la requête d'effet suspensif, a droit à une indemnité de dépens pour cette écriture, mise solidairement à la charge des recourants (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 5A_172/2019 et 5A_173/2019 sont jointes.
2.
Les recours sont irrecevables.
3.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis solidairement à charge des recourants.
4.
Une indemnité de 350 fr., à payer à l'intimée à titre de dépens, est mise solidairement à la charge des recourants.
5.
Le présent arrêt est communiqué aux parties et à la Chambre civile du Tribunal cantonal du Valais.
Lausanne, le 13 juin 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Achtari