Faits :
A.
A.a. Le 17 janvier 2012, A._ et B._ Sàrl ont conclu un contrat de mise à disposition de matériel et/ou d'abonnement de télésurveillance et/ou de maintenance pour une durée ferme de 48 mois.
Le 25 novembre 2015, un nouveau contrat a été conclu pour une durée ferme de 48 mois à compter de l'échéance du précédent contrat et au prix de 96 fr. 10 par mois. L'art. 10 de ce contrat prévoit que " [les] mensualités sont payables et exigibles par mois et d'avance, la première mensualité étant étant due à la signature du procès-verbal de réception de matériel. [...] Chaque mensualité ou autre indemnité convenue par les parties portera intérêts à 8% l'an, dès son exigibilité. [...] Tout retard dans le versement d'une ou de plusieurs mensualités, rendra, après une vaine mise en demeure, la totalité des mensualités à devoir jusqu'à la fin de la période contractuelle en cours immédiatement exigibles, au même titre que les montants arriérés. "
Le 27 août 2017, A._ a résilié ce contrat. B._ Sàrl a pris acte de la résiliation et indiqué à ce dernier que la résiliation ne prendrait effet qu'au 25 janvier 2020.
A.b. Le 6 décembre 2018, l'Office des poursuites de la Gruyère a notifié à A._ un commandement de payer (n° xxxxxx) sur requête de B._ Sàrl, pour un montant de 3'163 fr. 05.
A._ a formé opposition totale.
B.
B.a. Par décision du 12 mars 2019, la Présidente du Tribunal civil de l'arrondissement de la Gruyère a partiellement admis la requête de mainlevée déposée par B._ Sàrl. Elle a prononcé la mainlevée provisoire de l'opposition à concurrence de 2'114 fr. 20 avec intérêts à 5 % l'an dès le 27 novembre 2018.
B.b. Par arrêt du 21 juin 2019, la IIe Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg a rejeté le recours formé par A._ et confirmé la décision du 12 mars 2019.
C.
Par acte du 26 août 2019, A._ interjette un recours constitutionnel subsidiaire contre cet arrêt. Il conclut à son annulation et au renvoi de la cause à l'autorité cantonale pour reprise de la procédure et nouvelle décision. En substance, il se plaint d'arbitraire dans l'application du droit et l'établissement de faits (art. 9 Cst.) ainsi que de la violation de son droit d'être entendu (art. 29 al. 2 Cst.) et du principe de la bonne foi (art. 9 Cst.).
Des observations au fond n'ont pas été requises.
D.
Par ordonnance du 29 août 2019, la requête d'effet suspensif assortissant le recours a été rejetée.

Considérant en droit :
1.
1.1. Le présent recours est dirigé en temps utile (<ref-law>) contre une décision finale (<ref-law>; <ref-ruling> consid. 1.4) prise par un tribunal supérieur statuant sur recours. La décision attaquée est en principe susceptible de recours en matière civile (<ref-law>). Toutefois, vu l'insuffisance de la valeur litigieuse (<ref-law>) et l'absence de question juridique de principe (<ref-law>), le recours constitutionnel subsidiaire est seul ouvert en l'occurrence (art. 113, 114 et 117 LTF). Le recourant, qui a succombé devant la juridiction précédente, possède un intérêt juridique à l'annulation ou à la modification de la décision attaquée (<ref-law>).
1.2. Le recourant ne conclut formellement qu'à l'annulation de l'arrêt querellé et au renvoi de la cause à l'autorité cantonale. Cette formulation ne tient qu'imparfaitement compte de la nature réformatoire du recours constitutionnel subsidiaire (art. 107 al. 2 par renvoi de l'<ref-law>). Cela étant, on comprend que le présent recours tend globalement au rejet de la requête de mainlevée provisoire, de sorte que ce vice ne fait pas obstacle à sa recevabilité.
2.
2.1. Le recours constitutionnel ne pouvant être formé que pour violation des droits constitutionnels (<ref-law>), le Tribunal fédéral ne corrige l'application des dispositions de droit matériel que si celle-ci est arbitraire au sens de l'art. 9 Cst. Tel est le cas lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou contredit de manière choquante le sentiment de la justice et de l'équité. Une motivation n'est pas arbitraire du seul fait qu'une autre solution que celle de l'autorité cantonale apparaît concevable ou même préférable (<ref-ruling> consid. 2.1). Le Tribunal fédéral ne recherche pas quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner de la disposition légale, mais il se borne à dire si l'interprétation qui a été faite est défendable (<ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1). Pour être qualifiée d'arbitraire, la décision doit également être insoutenable dans son résultat (<ref-ruling> consid. 4.1; 140 III précité).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ces constatations que si les faits ont été établis en violation de droits constitutionnels (<ref-law> en relation avec l'<ref-law>), soit en particulier s'ils ont été établis de manière arbitraire, ce qui correspond à la notion de "manifestement inexacte" figurant à l'<ref-law> (<ref-ruling> consid. 2; <ref-ruling> consid. 1.5). L'appréciation des preuves et l'établissement des faits sont arbitraires lorsque le juge s'est manifestement mépris sur le sens et la portée d'un moyen de preuve, lorsqu'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée, ou encore lorsqu'il a tiré des déductions insoutenables à partir des éléments recueillis (<ref-ruling> consid. 2.3; <ref-ruling> consid. 4.2). La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (renvoi de l'<ref-law>; cf. <ref-ruling> consid. 2.3 et les références).
En conséquence, la partie intitulée " Rappel des faits " que le recourant présente en pages 5 ss de son écriture de recours sera ignorée en tant que les faits exposés ne sont pas expressément visés par un grief d'arbitraire dans l'établissement des faits, qu'ils s'écartent de ceux contenus dans l'arrêt attaqué et que le recourant n'invoque, ni a fortiori ne démontre, leur établissement arbitraire.
3.
3.1. L'autorité cantonale a tout d'abord jugé que le recourant faisait valoir un fait nouveau - soit qu'il n'a pas reçu le courrier de résiliation et de sommation du 1 er novembre 2018 produit par l'intimée à l'appui de sa requête de mainlevée -, irrecevable pour tardiveté selon l'<ref-law>.
L'autorité cantonale a ensuite considéré que le recourant, qui invoquait le dol au motif qu'un employé l'aurait enjoint de signer rapidement un procès-verbal de réception et restitution de matériel en lui cachant qu'il s'agissait en réalité du contrat du 25 novembre 2015, n'avait pas rendu vraisemblable ce moyen libératoire. Elle a relevé à cet égard que le document signé était intitulé " contrat ", que ce terme revenait à plusieurs reprises dans le texte, et qu'il contenait tous les éléments nécessaires à sa compréhension, notamment la mention manuscrite selon laquelle " le contrat de renouvellement prendra effet au terme du précédent ".
3.2. Le recourant se plaint à l'appui de chacun de ses arguments à la fois de la violation de son droit d'être entendu et du principe de la bonne foi, d'une part, et d'arbitraire, d'autre part. Or, dans la mesure où l'autorité cantonale a traité les griefs soulevés devant elle - soit qu'elle jugeait irrecevable le fait allégué pour démontrer que le recourant n'avait pas reçu le courrier de résiliation et de sommation du 1 er novembre 2018 et qu'elle constatait que le recourant n'avait pas été empêché de prendre connaissance du contenu du contrat, document qui présentait au demeurant tous les éléments nécessaires à saisir la portée de son engagement -, elle ne procède à aucune violation du droit d'être entendu dans son aspect du devoir de motiver la décision (art. 29 al. 2 Cst.). Si le recourant entend critiquer le raisonnement de l'autorité cantonale, il doit dénoncer l'arbitraire de la décision (art. 9 Cst.), ce qui sera examiné ci-après, dans la mesure où le grief est recevable. Quant à la violation du principe de la bonne foi ancré à l'art. 9 Cst. et qui exige que l'administration et les administrés se comportent réciproquement de manière loyale (<ref-ruling> consid. 6.2; <ref-ruling> consid. 7.1), cette violation n'a aucune portée propre par rapport aux deux autres griefs précités.
Il suit de là que les griefs de violation du droit d'être entendu, sous l'angle du devoir de motiver la décision, et de celle du principe de la bonne foi sont irrecevables.
3.3.
3.3.1. Le recourant reproche à l'autorité cantonale d'avoir violé son droit d'être entendu en ne tenant pas une audience " aux fins de forger sa conviction en application de l'art. 254 al. 2 let. a et b " comme il l'avait pourtant demandé.
3.3.2. En l'espèce, il ne ressort pas de l'arrêt attaqué que le recourant aurait sollicité la tenue d'une audience devant l'autorité cantonale comme il le prétend (<ref-law>) - aucun grief tiré d'un état de fait arbitrairement lacunaire n'étant d'ailleurs soulevé à cet égard (<ref-ruling> consid. 7.1 et les références). Quoi qu'il en soit, le recourant n'invoque pas, du moins de manière suffisamment claire, le droit à une audience publique garanti par les art. 6 § 1 CEDH et 30 al. 3 Cst. Il n'expose pas davantage en quoi l'<ref-law>, qui autorise le juge de la mainlevée à renoncer aux débats et à statuer sur pièces, aurait été arbitrairement appliqué (art. 106 al. 2 et 117 LTF; cf. sur les exigences de motivation: <ref-ruling> consid. 3.2).
Le grief doit dès lors être rejeté dans la mesure où il est recevable.
3.4.
3.4.1. Le recourant reproche à l'autorité cantonale d'avoir arbitrairement retenu qu'il avait allégué un fait nouveau irrecevable sur l'exigibilité de la créance. Il soutient qu'il appartient au poursuivant d'établir ce fait, que, dans sa réponse déposée en première instance, il avait contesté que la poursuivante avait allégué l'exigibilité de la créance mise en poursuite et que, à l'appui de ce propos, dans son recours cantonal, il avait invoqué que toutes les pièces produites par la poursuivante souffraient d'un défaut de preuve vu que celle-ci ne démontrait pas qu'il les avait réceptionnées, notamment la résiliation du 1 er novembre 2018, alors que l'art. 13 du contrat prévoyait que la résiliation devait intervenir par lettre signature et avis de réception, de sorte que le juge de première instance ne pouvait pas retenir ce fait comme établi. Il ajoute qu'il n'a pas indiqué n'avoir pas reçu le courrier de résiliation du 1 er novembre 2018, mais qu'il a seulement fait valoir que l'intimée n'avait pas prouvé qu'il avait bien reçu ce courrier, faute d'avoir produit le récépissé de la poste pour démontrer la réception de la résiliation. Il conclut que c'est bien un défaut de preuve de l'exigibilité de la créance qu'il a voulu dénoncer, ainsi qu'un déplacement arbitraire du fardeau de la preuve à son endroit.
3.4.2.
3.4.2.1. Au sens de l'<ref-law>, constitue une reconnaissance de dette, en particulier l'acte authentique ou sous seing privé signé par le poursuivi, d'où ressort sa volonté de payer au poursuivant, sans réserve ni condition, une somme d'argent déterminée, ou aisément déterminable, et exigible.
L'exigibilité, qui est déterminée par les parties ou, à défaut, par la loi (cf. <ref-law>), est certes le moment auquel le créancier peut prétendre à l'exécution de sa prétention. Toutefois, même si les deux moments peuvent coïncider, il faut garder à l'esprit que le débiteur n'est en demeure (<ref-law>) qu'au moment où il doit faire sa prestation, soit à l'échéance de celle-ci (TERCIER/PICHONNAZ, Le droit des obligations, 6 ème éd., 2019, n° 1139 ss). Le moment de l'échéance peut être fixée par contrat (<ref-law>), sous la forme d'un terme comminatoire; le débiteur est alors en retard dans son exécution sans intervention supplémentaire du créancier. A défaut de convention, l'échéance doit être provoquée par le créancier au moyen de l'interpellation. Si l'interpellation contient à son tour un terme ou un délai, le débiteur n'est en retard qu'à l'expiration de celui-ci. Ce n'est qu'au moment où il se trouve demeure que le débiteur est aussi tenu de verser un intérêt moratoire (<ref-law>; TERCIER/PICHONNAZ, op. cit., n° 1376 ss, 1390).
Dans la procédure de mainlevée de l'opposition, il appartient au créancier d'établir l'exigibilité de sa créance (arrêts 5A_1026/2018 du 31 octobre 2019 consid. 3.2.2; 5A_695/2017 du 18 juillet 2018 consid. 3.1; 5A_898/2017 du 11 janvier 2018 consid. 3.1 et les références). Celle-ci doit exister déjà au moment de la réquisition de poursuite (<ref-ruling> consid. 5a; <ref-ruling> consid. 4; arrêts 5A_954/2015 du 22 mars 2016 consid. 3.1; C. 452/1982 du 17 mai 1983 consid. 3d et les autres références). En conséquence, la mainlevée de l'opposition ne peut pas être prononcée lorsque l'exigibilité est provoquée par la notification du commandement de payer dans la poursuite en cause (STAEHELIN, in Basler Kommentar, SchKG I, 2 ème éd., 2010, n° 78 ad <ref-law>; VOCK, in KUKO SchKG, 2 ème éd., 2014, n° 16 ad <ref-law>).
3.4.2.2. Lorsque l'autorité précédente est parvenue à se forger une conviction après avoir apprécié les preuves apportées au cours de l'instruction, la question de la répartition du fardeau de la preuve n'a plus d'objet. Seule se pose la question de savoir si cette autorité a arbitrairement établi les faits, au sens de l'art. 9 Cst. (<ref-ruling> consid. 3.2; <ref-ruling> consid. 6.3; arrêt 4A_338/2018 du 28 novembre 2018 consid. 4.4.2).
3.4.3. En l'espèce, le premier juge a retenu que le recourant n'avait pas payé ses mensualités de 96 fr. 10 depuis le mois d'avril 2018, que l'art. 10 de ce contrat prévoyait que tout retard dans le versement d'une ou de plusieurs mensualités, rendrait, " après une vaine mise en demeure ", la totalité des mensualités à devoir jusqu'à la fin de la période contractuelle en cours immédiatement exigibles, au même titre que le montant des arriérés. Il en a déduit que ce contrat valait titre de mainlevée provisoire pour les 22 mensualités dues pour la période d'avril 2018 à janvier 2020. A l'occasion de son examen d'un intérêt moratoire, il a considéré qu'un tel intérêt n'était dû que si le créancier produisait une sommation ou établissait qu'un terme d'exécution avait été fixé. Or, il a retenu à cet égard que la sommation du 1 er novembre 2018 que l'intimée avait adressée au recourant impartissait bien à ce dernier un délai de dix jours pour s'exécuter; cependant, aucun document n'attestait la notification de cette sommation. Sans qualifier plus précisément l'effet juridique qu'il accordait à cet acte sur la demeure du débiteur, il a néanmoins estimé que la réquisition de poursuite du 27 novembre 2018 devait dès lors être prise en compte comme point de départ des intérêts.
L'argument du recourant qui se plaint d'arbitraire dans la répartition du fardeau de la preuve est, à deux égards, sans pertinence: non seulement, les faits ayant été établis sur ce point, seule la question de l'arbitraire de cet établissement (art. 9 Cst.) se pose; or, le recourant n'y procède pas. Mais aussi et surtout, le premier juge a précisément retenu, comme le soutient le recourant, que l'intimée n'avait pas démontré qu'elle avait notifié sa sommation du 1 er novembre 2018. En conséquence, le grief du recourant selon lequel l'autorité cantonale aurait confondu l'allégué d'un fait nouveau et la critique du fardeau de la preuve n'a aucune portée. Le premier juge a manifestement considéré que l'introduction de la poursuite rendait exigibles - et échues - les mensualités dues pour la période contractuelle en cours, malgré les conditions posées à l'art. 10 du contrat; on le comprend du fait qu'il a jugé que cet acte permettait aussi à l'intimée de réclamer des intérêts moratoires. Dès lors, la seule question qui se pose en réalité était celle de savoir si ce raisonnement était correct. Or, le recourant n'a pas soulevé cette question devant l'autorité cantonale et il ne le fait pas non plus, en tout cas pas en termes clairs et précis, dans son présent recours. Dès lors, il n'y a pas lieu de la traiter, non seulement parce que le grief d'arbitraire dans l'application de l'<ref-law> en lien avec les art. 75 et 102 ss CO n'est pas soulevé selon les réquisits du principe d'allégation (cf. supra consid. 2.1), mais aussi faute d'épuisement des instances cantonales (<ref-law>; <ref-ruling> consid. 1.1; arrêt 5A_636/2019 du 11 octobre 2019 consid. 2.4 et les références).
Le grief doit dès lors être rejeté dans la mesure de sa recevabilité.
3.5.
3.5.1. Le recourant fait encore valoir que l'autorité cantonale aurait arbitrairement jugé qu'il n'avait pas pu être induit en erreur sur la portée du document signé le 25 novembre 2015 au motif que ce dernier contenait tous les éléments nécessaires à sa compréhension alors qu'elle avait retenu que l'employé de l'intimée avait à dessein dissimulé la véritable nature du document présenté pour signature.
3.5.2. En l'espèce, dans la mesure où l'autorité cantonale n'a pas retenu que le recourant avait été empêché de prendre connaissance du contrat au moment de la signature, ce que ce dernier ne prétend d'ailleurs pas, on ne saurait considérer qu'elle a fait preuve d'arbitraire en jugeant que le recourant n'avait pas rendu sa libération vraisemblable. Au demeurant, l'autorité cantonale ne s'est pas contentée de juger que les faits invoqués par le recourant ne rendaient pas sa libération vraisemblable. Elle a aussi retenu que le recourant ne faisait valoir à l'appui de ses allégations aucun titre, si ce n'est le contrat lui-même, ce que le recourant ne conteste pas, étant rappelé que c'est en principe par ce seul moyen que le poursuivi peut rendre vraisemblable sa libération (<ref-law>; <ref-ruling> consid. 4.1.2; <ref-ruling> consid. 4.1 et les références).
Le grief doit dès lors être rejeté dans la mesure où il est recevable.
4.
En définitive, le recours doit être rejeté dans la faible mesure de sa recevabilité. Les frais judiciaires, arrêtés à 1'000 fr., sont donc mis à la charge du recourant (<ref-law>). Des dépens ne sont pas dus, l'intimée n'ayant été invitée à se déterminer ni sur la requête d'octroi d'effet suspensif ni sur le fond de la cause (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la IIe Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 23 décembre 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Achtari