Faits :
A.
Dans le cadre d'une procédure de mesures protectrices de l'union conjugale, X._ a été mise au bénéfice de l'assistance judiciaire pour un montant total de 7'707 fr. 40.
Le 19 juin 2012, l'Etat de Vaud, représenté par son Département des institutions et de la sécurité, Service juridique et législatif, secteur recouvrement - assistance judiciaire (ci-après: l'Etat de Vaud), a fait parvenir un courrier à l'intéressée, dans lequel il constatait que le solde de la créance d'assistance judiciaire qui lui était dû à cette date se montait à 6'807 fr. 40. Compte tenu de la régularité avec laquelle X._ s'acquittait de ses versements, l'Etat de Vaud était disposé à accepter des acomptes mensuels de 100 francs. Il a toutefois mentionné qu'en cas de retard de plus de 30 jours dans le paiement d'une échéance, la totalité de la créance deviendrait immédiatement exigible et qu'il serait procédé à son encaissement par la voie juridique. Il a demandé à l'intéressée de dater et signer ce courrier et de lui retourner, ce que celle-ci a fait le 23 juin 2012. Par la suite, l'Etat de Vaud a octroyé quatre plans de recouvrement successifs à l'intéressée. Le dernier plan, daté du 11 février 2015, prévoyait que X._ devait s'acquitter du solde dû à cette date, par 5'455 fr. 70, à raison de 25 fr. par mois, dès le 5 mars 2015. Faute de paiement d'une mensualité de l'intéressée, l'Etat de Vaud a adressé un rappel à cette dernière le 20 avril 2015. Le 5 mai 2015, il a menacé X._ d'annuler le plan de recouvrement.
Par courrier du 21 mai 2015, l'Etat de Vaud a annulé la plan de paiement accordé à X._. Le solde dû à cette date était de 5'430 fr. 70. Par la suite, X._ s'est encore acquittée de deux fois 25 francs. Le 25 juin 2015, un commandement de payer pour les sommes de 5'307 fr. 40 et 73 fr. 30 a été notifié à X._. Le 23 février 2016, le juge de paix compétent a prononcé la mainlevée provisoire de l'opposition formée par l'intéressée, à concurrence de 5'307 fr. 40 sous déduction de 50 francs.
B.
Par demande du 10 mai 2016, X._ a ouvert action en libération de dette devant le juge de paix à l'encontre de l'Etat de Vaud, concluant en substance à l'inexigibilité de la créance de 5'307 fr. 40, sous déduction de 50 francs. Par décision du 12 octobre 2016, notifiée le 21 novembre 2016, le juge de paix a rejeté l'action en libération de dette. Le 21 décembre 2016, X._ a interjeté recours contre ce prononcé auprès de la Chambre des recours civile du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Par arrêt du 16 janvier 2017, le Tribunal cantonal a rejeté le recours.
C.
Agissant par la voie du recours en matière civile et celle, subsidiaire, du recours constitutionnel, X._ demande en substance au Tribunal fédéral, sous suite de frais et dépens, outre l'assistance judiciaire et l'effet suspensif, d'annuler l'arrêt du Tribunal cantonal du 16 janvier 2017 et d'admettre son action en libération de dette. Elle se plaint de violation du droit fédéral.
Par ordonnance du 18 mai 2017, le Juge présidant de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif.
Le Tribunal cantonal se réfère aux considérants de son arrêt. L'Etat de Vaud ne s'est pas déterminé et le juge de paix compétent y a renoncé. Dans des observations finales, X._ a implicitement confirmé ses conclusions.

Considérant en droit :
1.
La présente cause porte sur le remboursement de l'assistance judiciaire, indépendamment de toute procédure au fond; il s'agit donc d'une cause de droit public (<ref-law>) ouvrant la voie du recours en matière de droit public (cf. <ref-ruling> consid. 1 p. 508). Or, la recourante a interjeté un recours en matière civile et subsidiairement un recours constitutionnel, se fiant à la voie de droit indiquée dans l'arrêt attaqué. Cette fausse indication n'entraîne aucun préjudice pour la recourante. En effet, selon la jurisprudence, l'intitulé erroné d'un recours n'influence pas sa recevabilité, pour autant que l'écriture remplisse les conditions formelles de la voie de droit qui est ouverte (cf. <ref-ruling> consid. 1.2 p. 302 s.). Le recours en matière de droit public est ouvert en l'espèce (<ref-law> a contrario), ce qui conduit à l'irrecevabilité du recours constitutionnel subsidiaire (<ref-law> a contrario).
Au surplus, déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par la destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours, dirigé contre une décision finale (<ref-law>) rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF), est recevable.
2.
Le Tribunal fédéral conduit son raisonnement en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>; <ref-ruling> consid. 4.4.3 p. 156), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire (<ref-ruling> consid. 2.4 p. 314), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 4.2 p. 234). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal de céans (<ref-law>).
3.
L'autorité précédente a considéré le courrier signé le 23 juin 2012 par la recourante comme une reconnaissance de dette valable. Sur la base de ce document, elle a confirmé le jugement du premier juge et a ainsi rejeté l'action en libération de dette de la recourante pour un montant de 5'307 fr. 40.
La recourante se plaint d'une violation des <ref-law> et 123 CPC. Selon elle, le courrier qu'elle a signé le 23 juin 2012 ne constitue pas une reconnaissance de dette comme l'a retenu le Tribunal cantonal et ne permet pas de contourner l'<ref-law>, disposition qui pose les principes du remboursement de l'assistance judiciaire. De plus, elle invoque une violation du principe de la légalité et conteste l'amélioration de sa situation financière constatée par l'autorité précédente.
Le litige porte donc sur le point de savoir si le Tribunal cantonal pouvait confirmer le jugement du premier juge rejetant l'action en libération de dette.
4.
La créance en cause, dont la recourante cherche à démontrer l'inexigibilité, est fondée sur l'<ref-law>. Selon cette disposition, une partie est tenue de rembourser l'assistance judiciaire dès qu'elle est en mesure de le faire (al. 1). La créance du canton se prescrit par dix ans à compter de la fin du procès (al. 2). Comme l'a déjà jugé le Tribunal fédéral, cette créance en remboursement de l'assistance judiciaire, dont l'Etat est créancier, est une prétention de droit public, même si, sur le fond, elle se rapporte à une procédure de droit privé (<ref-ruling> consid. 1 p. 507 s.).
5.
L'Etat de Vaud a fait signer une reconnaissance de dette à la recourante, afin de bénéficier d'un titre de mainlevée provisoire.
5.1. Même si la procédure de mainlevée provisoire n'est pas l'objet de la présente contestation (cf. <ref-ruling> consid. 4.4.2 p. 156; en relation avec la question de la procédure de mainlevée provisoire dans un recours contre une action en libération de dette: arrêt du Tribunal fédéral des assurances H 341/00 du 15 mars 2001 consid. 2), il n'est pas inutile, pour avoir une vue d'ensemble de la situation juridique, de relever que, selon la jurisprudence du Tribunal fédéral rendue en matière de procédure de mainlevée (cf. arrêts 5A_473/2016 du 15 novembre 2016 consid. 3.1; 5A_896/2013 du 8 janvier 2014 consid. 1.3), les dettes de droit public ne peuvent en principe pas faire l'objet d'une procédure de mainlevée provisoire. Ces prétentions doivent d'abord faire l'objet d'une décision, cette décision constituant ensuite un titre de mainlevée définitive (cf. <ref-law>). Lorsque l'autorité en cause bénéficie d'un pouvoir décisionnel, elle doit impérativement utiliser cette voie. Un éventuel accord passé avec l'administré ne saurait prévaloir (arrêt 5A_473/2016 du 15 novembre 2016 consid. 3.2). Ce n'est que lorsque l'autorité ne peut rendre de décision pour fixer la créance de droit public due par l'administré, et qu'il lui appartient donc d'agir par la voie de l'action de droit administratif, qu'une mainlevée provisoire est envisageable (cf. <ref-ruling> consid. 4.3.1 p. 131 s.; AMBRE VEUILLET, in La mainlevée de l'opposition, Commentaire des articles 79 à 84 LP, Abbet/Veuillet [éd.], 2017, n. 70 ad <ref-law>; DANIEL STAEHELIN, in Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs I, 2e éd. 2010, n. 46 ad <ref-law>).
5.2. En l'occurrence, s'agissant d'une procédure de remboursement de l'assistance judiciaire indépendante de toute procédure au fond, le Service juridique et législatif du Département des institutions et de la sécurité du canton de Vaud est compétent pour gérer le paiement et le remboursement des indemnités perçues au titre de l'assistance judiciaire en matière civile dans le canton de Vaud (cf. art. 5 du règlement vaudois du 7 décembre 2010 sur l'assistance judiciaire en matière civile [RAJ/VD; RSV 211.02.3]). Rien n'indique que ce service n'aurait pas de compétence décisionnelle (cf. art. 4 de la loi vaudoise du 28 octobre 2008 sur la procédure administrative [LPA/VD; RSV 173.36]). En outre, l'autorité précédente n'a cité aucune loi spéciale prévoyant la voie de l'action administrative pour le remboursement de dettes d'assistance judiciaire (cf. art. 106 LPA/VD) et le RAJ/VD n'en fait aucune mention. On en déduit que la pratique vaudoise tendant à faire signer des reconnaissances de dettes aux bénéficiaires de l'assistance judiciaire, afin d'obtenir un titre de mainlevée provisoire pour procéder au recouvrement forcé de la dette d'assistance judiciaire, est contraire à l'<ref-law>. Le remboursement de l'assistance judiciaire prononcé sur la base de cette disposition doit en effet, en principe, faire l'objet d'une décision (cf. LUKAS HUBER, in Schweizerische Zivilprozessordnung, Brunner/Gasser/ Schwander [éd.], 2e éd. 2016, n. 6 ad <ref-law>). L'autorité administrative compétente est ainsi tenue d'examiner si le débiteur de la dette d'assistance judiciaire bénéficie nouvellement d'une fortune ou d'un revenu suffisant lui permettant de s'acquitter entièrement ou par mensualités du solde dû (cf. RÜEGG/RÜEGG, in Basler Kommentar, Schweizerische Zivilprozessordnung, 3e éd. 2017, n. 1 ad <ref-law>).
5.3. En l'espèce, le remboursement de la créance de droit public que possède l'Etat de Vaud envers la recourante est fondé sur l'<ref-law> et doit donc faire l'objet d'une décision. Une fois entrée en force, cette décision constitue un titre de mainlevée définitive (<ref-law>). Par conséquent, la décision de mainlevée provisoire du 23 février 2016 est entachée d'un vice. Elle n'a toutefois pas été contestée par la recourante dans les délais et est ainsi entrée en force. A ce propos, la doctrine est partagée quant à savoir si une décision de mainlevée provisoire relative à des prétentions de droit public, rendue à tort, est nulle ou annulable (favorable à la nullité et se référant à l'arrêt du 12 octobre 2007 du Tribunal cantonal du canton des Grisons [PKG 2006 n. 7 p. 42]: HANSJÖRG PETER, Edition annotée de la loi fédérale sur la poursuite pour dettes et la faillite, 2010, n. 1 ad <ref-law>; favorables à l'annulabilité et se référant à l'arrêt du 11 août 2000 du Tribunal cantonal du canton d'Obwald [AbR 2000/01 n. 20 p. 88]: AMBRE VEUILLET, op. cit., n. 69 ad <ref-law>; DANIEL STAEHELIN, op. cit., n. 46 ad <ref-law>). Cette question peut toutefois demeurer indécise en l'espèce, dès lors que la nullité de la décision de mainlevée provisoire ou son annulation ont toutes deux la même incidence sur le présent recours, respectivement sur l'action en libération de dette (cf. consid. 6.4 ci-dessous).
6.
Se pose en définitive la question de savoir ce qu'il advient de l'action en libération de dette introduite par la recourante à la suite du prononcé de mainlevée provisoire.
6.1. L'action, dont l'arrêt sur recours fait l'objet de la présente procédure, a été introduite auprès du juge de paix, en application notamment de l'<ref-law>. Cette disposition prévoit que le débiteur peut, dans les 20 jours à compter de la mainlevée provisoire, intenter au for de la poursuite une action en libération de dette. Cette dernière est une action de droit matériel qui tend à la constatation de l'inexistence de la créance invoquée par le poursuivant (<ref-ruling> consid. 3a p. 208; <ref-ruling> consid. 5a p. 42), respectivement de son inexigibilité au moment de la notification du commandement de payer (<ref-ruling> consid. 5.3.1 p. 292; DANIEL STAEHELIN, op. cit., n. 14 ad <ref-law>). Le procès est instruit en la forme ordinaire, c'est-à-dire qu'il se déroule en-dehors de la poursuite (cf. ANDRÉ SCHMIDT, in Commentaire romand, Poursuite et faillite, 2005, n. 11 ad <ref-law>) et que le juge doit donc se prononcer sur le bien-fondé de la prétention découlant de la poursuite en respectant les principes propres à un procès civil, en application des dispositions du CPC, ou à une action de droit administratif, en application de la procédure administrative idoine (cf. <ref-ruling> consid. 4.3.1 p. 131 s.).
6.2. Selon les dispositions du CPC, le tribunal doit examiner d'office les conditions de recevabilité (cf. <ref-law>). Il n'entre en matière que sur les demandes et les requêtes qui satisfont aux conditions de recevabilité de l'action (<ref-law>). Avant de pouvoir examiner s'il est compétent à raison de la matière et du lieu (<ref-law>), le tribunal doit en premier lieu se demander si la voie utilisée est correcte. Par cet examen, il doit contrôler que la cause puisse être portée devant lui, c'est-à-dire qu'elle soit justiciable. Si c'est le cas, il doit encore se demander si celle-ci relève du droit civil (compétence juridictionnelle; "Rechtswegzuständigkeit"; SIMON ZINGG, in Berner Kommentar, Schweizerische Zivilprozessordnung, 2012, n. 53 ad <ref-law>) et figure donc dans la liste de l'<ref-law> (cf. <ref-ruling> consid. 6.2 p. 401). Selon cette disposition, le CPC règle la procédure applicable devant les juridictions cantonales aux affaires civiles contentieuses (let. a); aux décisions judiciaires de la juridiction gracieuse (let. b); aux décisions judiciaires en matière de droit de la poursuite pour dettes et la faillite (let. c); à l'arbitrage (let. d). Le tribunal civil ne saurait par conséquent statuer sur un litige de droit public, en application du CPC (cf. BERNHARD BERGER, Berner Kommentar, Schweizerische Zivilprozessordnung, 2012, n. 25 ad <ref-law>; IVO SCHWANDER, Prozessvoraussetzungen in der neuen Schweizerischen Zivilprozessordnung, ZZZ 2008/09, p. 202 s.). On doit toutefois ajouter qu'il n'est pas exclu que le droit cantonal prévoie la compétence d'une autorité civile pour statuer sur le remboursement de l'assistance judiciaire au sens de l'<ref-law> (pour un survol des compétences dans divers cantons: DANIEL WUFFLI, Die unentgeltliche Rechtspflege in der Schweizerischen Zivilprozessordnung, thèse Berne 2015, n. 947), ou dans toute autre affaire de droit administratif (cf. par exemple le § 19 al. 1 let. a de la loi zurichoise du 14 septembre 1969 sur la responsabilité [RSZH 170.1], qui prévoit la compétence des tribunaux civils pour traiter des actions en responsabilité de tiers contre le canton). Cette affaire n'en deviendra toutefois pas pour autant une cause relevant du droit civil. L'autorité qui statuera, le fera en tant qu'autorité administrative et, si le droit cantonal prévoit son application, le CPC sera appliqué en tant que droit cantonal supplétif (cf. arrêt 2C_692/2012 du 10 février 2013 consid. 2.2).
6.3. En l'occurrence, comme on l'a vu, le juge de paix, puis, sur recours, le Tribunal cantonal, ont statué, dans le cadre d'une procédure civile (cf. consid. 6.1 ci-dessus), sur une créance de droit public, en application du CPC. Une telle façon de procéder ne saurait être admise. Les deux autorités précédentes, de la juridiction civile, n'étaient en effet pas compétentes, en l'absence de dispositions cantonales topiques, pour juger matériellement de l'existence et de l'exigibilité de la créance que l'Etat de Vaud prétend avoir contre la recourante. On ajoutera à ce propos que ce n'est pas parce que le CPC prévoit que le tribunal (civil) octroie l'assistance judiciaire (cf. <ref-law>), qu'il appartient aussi à ce tribunal de statuer sur son remboursement. Dans le cadre d'une procédure indépendante, c'est exclusivement l'autorité compétente, désignée par le droit cantonal, qui doit statuer formellement sur l'obligation de remboursement de l'assistance judiciaire, que ce soit dans une décision ou éventuellement saisie d'une action de droit administratif si le droit cantonal prévoit une telle voie. En matière de remboursement de l'assistance judiciaire dans le canton de Vaud, comme on l'a vu en l'espèce, il faut une décision de l'autorité compétente. Une action civile telle que l'action en libération de dette est d'emblée exclue.
6.4. En présence d'une créance en remboursement de l'assistance judiciaire, c'est-à-dire une créance de droit public visée par l'<ref-law>, le juge de paix, respectivement le Tribunal cantonal devait vérifier que l'autorité compétente avait bien rendu une décision, puisque c'est la voie imposée par le droit cantonal. Or, en l'absence d'une telle décision, il ne pouvait matériellement pas statuer, en qualité de juge civil, à défaut de disposition prévoyant une procédure spéciale lui conférant une telle compétence, sur le bien-fondé matériel de la créance de droit public. Il devait donc déclarer l'action en libération de dette irrecevable, que la décision de mainlevée provisoire précédant cette action soit nulle ou annulable. En cas de nullité, la recourante aurait en plus perdu l'intérêt à faire constater négativement un droit matériel, ce qui aurait aussi conduit à l'irrecevabilité de l'action en libération de dette (cf. DANIEL STAEHELIN, op. cit., n. 17 ad <ref-law>). Par conséquent, la conclusion de la recourante tendant à l'admission de son action en libération de dette doit être rejetée. En revanche, celle demandant l'annulation de l'arrêt du Tribunal cantonal du 16 janvier 2017 est admise.
On relèvera encore que l'irrecevabilité de l'action en libération de dette pourrait certes permettre à l'Etat de Vaud de continuer la poursuite. Toutefois, dans un tel cas de figure, l'office des poursuites compétent devrait alors répondre à la question de savoir si la décision de mainlevée provisoire rendue le 23 février 2016 est nulle ou annulable. Si celui-ci considère que l'opposition est levée, la recourante pourra contester l'avis de saisie au moyen d'une plainte (<ref-law>). En tout état de cause, l'office des poursuites ne devrait procéder à aucun acte, tant que l'opposition déploie (encore) ses effets (<ref-ruling> consid. 1.2.2 p. 399). L'irrecevabilité de la continuation de la poursuite en raison d'une telle opposition peut être constatée en tout temps (cf. <ref-law>).
7.
Malgré l'admission partielle du recours, il se justifie de mettre l'entier des frais judiciaires à la charge du canton de Vaud, dont l'intérêt patrimonial est en cause (art. 66 al. 1 et 4 LTF), dès lors que l'arrêt attaqué est entièrement annulé. Le canton de Vaud supportera également les dépens de la recourante (<ref-law>). La demande d'assistance judiciaire est ainsi devenue sans objet. La cause est renvoyée au Tribunal cantonal pour qu'il procède à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant lui (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière de droit public est partiellement admis et l'arrêt du Tribunal cantonal du 16 janvier 2017 est annulé. L'action en libération de dette du 10 mai 2016 est irrecevable.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
La demande d'assistance judiciaire est sans objet.
4.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du canton de Vaud.
5.
Une indemnité de partie, arrêtée à 2'000 fr., est allouée à la recourante, à charge du canton de Vaud.
6.
La cause est renvoyée au Tribunal cantonal, afin qu'il statue à nouveau sur le sort des frais et dépens de la procédure devant lui.
7.
Le présent arrêt est communiqué à la mandataire de la recourante, à l'Etat de Vaud, Département des institutions et de la sécurité, service juridique et législatif, au Juge de paix du district de la Riviera-Pays-d'Enhaut et au Tribunal cantonal du canton de Vaud, Chambre des recours civile.
Lausanne, le 7 décembre 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette