Faits:
A.
A.a. Par jugement du 7 juillet 2011, le Juge IV des districts de Martigny et St-Maurice a rejeté la demande de X._ en annulation de la résiliation de bail que lui avait signifiée J.Y._ le 16 mars 2009. Il a notamment mis les frais, par 1'900 fr., à la charge de X._ et l'a condamnée à verser à J.Y._ une indemnité de 3'800 fr. à titre de dépens.
A.b. Le 7 septembre 2011, X._ a formé appel de ce jugement. Statuant le 15 mai 2012, le Juge de la Cour civile I du Tribunal cantonal du canton du Valais a admis l'appel. Il a mis les frais de justice de première et seconde instances, par 2'900 fr., à la charge de J.Y._ et l'a condamné à verser à X._ 1'000 fr. à titre de remboursement d'avance et 5'400 fr. à titre de dépens pour l'ensemble de la procédure.
A.c. Par arrêt du 5 novembre 2012, la Ière Cour de droit civil du Tribunal fédéral a admis, dans la mesure de sa recevabilité, le recours en matière civile formé par J.Y._ contre cette décision. Il a notamment mis à la charge de X._ 2'000 fr. à titre de frais judiciaires pour la procédure fédérale et l'a condamnée à verser à J.Y._ une indemnité de 2'500 fr. à titre de dépens (arrêt 4A_347/2012 du 5 novembre 2012).
B.
Le 25 février 2013, J.Y._ a fait notifier à X._ un commandement de payer la somme de 5'700 fr.plus intérêts à 5% l'an dès le 7 novembre 2012 (poursuite n° xxxx de l'Office des poursuites et des faillites du district de St-Maurice). Le 2 juillet 2013, il a requis la mainlevée de l'opposition formée par la poursuivie.
Statuant le 19 août 2013, la Juge suppléante III des districts de Martigny et St-Maurice a levé définitivement l'opposition, les frais (110 fr.) et une indemnité de dépens (400 fr.) étant mis à la charge de X._.
Saisi d'un recours de la poursuivie, le Juge de la Chambre civile du Tribunal cantonal du canton du Valais a annulé cette décision (1), rejeté la requête de mainlevée (2) et mis les frais judiciaires de première instance (110 fr.) et de seconde instance (450 fr.) à la charge de J.Y._ (3). Il l'a condamné à verser à X._ 450 fr. à titre de " remboursement d'avance " et 1'200 fr. à titre de dépens pour l'ensemble de la procédure (3).
C.
Par acte du 30 octobre 2013, J.Y._ exerce un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral. Il conclut principalement à l'annulation des chiffres 3 et 4 du dispositif de l'arrêt cantonal et, subsidiairement, au renvoi de la cause à l'autorité précédente. Il conclut encore, "en tout état de cause ", à ce que les frais et dépens de première et de seconde instance soient mis à la charge " de l'intimée, respectivement de l'Etat du Valais ".
Des observations n'ont pas été requises.

Considérant en droit:
1.
Le Tribunal fédéral examine d'office la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 369, 475 consid. 1 p. 476).
1.1. L'arrêt entrepris, qui met des frais et des dépens à la charge du poursuivant à raison de l'admission du recours interjeté par la poursuivie contre un prononcé de mainlevée définitive, à savoir une affaire pécuniaire (<ref-law>; <ref-ruling> consid. 1.1 p. 117), est sujet au recours en matière civile (<ref-law>), subsidiairement - en cas d'insuffisance de la valeur litigieuse (<ref-law>) - au recours constitutionnel (<ref-law>).
1.2. S'agissant d'une contestation portant exclusivement sur les frais et dépens, alors que le fond de la cause était encore litigieux devant l'autorité cantonale, la valeur litigieuse devant le Tribunal fédéral se détermine selon ces conclusions au fond (<ref-ruling> consid. 1.2.2 p. 48). Le recours en matière civile est donc recevable lorsque les conclusions encore en cause devant l'autorité précédente atteignaient la valeur litigieuse requise, même si les frais et dépens restent pour leur part en-dessous de cette valeur (<ref-law>; <ref-ruling> consid. 1.2.2 p. 48).
En l'espèce, comme l'admet à juste titre le recourant, la valeur litigieuse est largement inférieure au seuil de 30'000 fr. (<ref-law>). Il soutient toutefois que la présente cause soulève une " question juridique de principe " au sens de l'<ref-law>, à savoir " permettre l'application de l'art. 107 al. 1 lit. b CPC dans le cas où la partie a, de bonne foi, intenté un procès se fondant sur des indications erronées d'une autorité et avait, au fond, eu gain de cause sur la question matérielle ".
D'après la jurisprudence, la cause soulève une " question juridique de principe " - notion à interpréter très restrictivement (<ref-ruling> consid. 1.1 p. 582; <ref-ruling> consid. 1.2 p. 269; <ref-ruling> consid. 1.1 p. 495 et les références) - lorsqu'il est nécessaire, pour résoudre le cas d'espèce, de trancher une question juridique qui donne lieu à une incertitude caractérisée, laquelle appelle d'une manière pressante un éclaircissement de la part du Tribunal fédéral, en qualité de juridiction suprême chargée de dégager une interprétation uniforme du droit fédéral (<ref-ruling> consid. 1.2 p. 184 s. et les arrêts cités). La partie recourante doit exposer en quoi l'affaire remplit la condition exigée (<ref-law>; <ref-ruling> consid. 1.2 p. 185; <ref-ruling> consid. 1.1 p. 582 s.).
Contrairement à ce que soutient le recourant, le litige ne soulève aucune question juridique de principe, mais consiste simplement à déterminer si l'<ref-law> aurait dû être appliqué dans le cas d'espèce, en tenant compte de la jurisprudence en la matière (cf. infra consid. 4.1). Le recourant n'expose d'ailleurs ni controverses doctrinales, ni jurisprudences contradictoires, se limitant à critiquer la solution retenue en l'occurrence par le Tribunal cantonal valaisan. Au demeurant, la même problématique est susceptible de se poser avec la valeur litigieuse légalement requise (arrêts 5A_454/2012 du 22 août 2012 consid. 1.2; 5A_48/2012 du 3 juillet 2012 consid. 1.2; 5A_633/2011 du 10 février 2012 consid. 1.3).
Il s'ensuit que le recours en matière civile est irrecevable et que le recours doit être traité en tant que recours constitutionnel subsidiaire au sens des <ref-law>.
1.3. Les autres conditions de recevabilité sont satisfaites: le recours a été déposé en temps utile (art. 100 al. 1 et 117 LTF) à l'encontre d'une décision finale (art. 90 et 117 LTF) rendue par une autorité statuant en dernière instance cantonale (art. 75 et 114 LTF); le recourant, qui a succombé devant l'autorité précédente, a un intérêt à l'annulation ou à la modification de la décision, de sorte qu'il a qualité pour recourir (<ref-law>).
2.
2.1. Saisi d'un recours constitutionnel subsidiaire, le Tribunal fédéral statue sur la base des faits constatés dans la décision attaquée; il ne peut rectifier ou compléter les constatations de fait de l'autorité précédente que si les faits ont été établis en violation des droits constitutionnels (<ref-law>), ce qu'il appartient à la partie recourante d'exposer et de démontrer de manière claire et circonstanciée (<ref-ruling> consid. 2.1 p. 334). La correction du vice soulevé doit en outre être susceptible d'influer sur le sort de la cause. Le Tribunal fédéral n'entre pas en matière sur des critiques de nature appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 3 p. 104 s.).
2.2. La voie du recours constitutionnel subsidiaire n'est ouverte que pour se plaindre de la violation des droits constitutionnels (<ref-law>). En vertu de l'<ref-law>, applicable par renvoi de l'<ref-law>, les griefs y relatifs doivent être invoqués et motivés de façon détaillée, sous peine d'irrecevabilité (<ref-ruling> consid. 3 p. 237; <ref-ruling> consid. 2.1 p. 334; <ref-ruling> consid. 1.4.2 p. 254). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.3 p. 316; <ref-ruling> consid. 4.1 p. 588 s.).
D'après la jurisprudence, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (<ref-ruling> consid. 3.2.5 p. 339; <ref-ruling> consid. 2.1 p. 211); il ne suffit pas qu'une autre solution paraisse concevable, voire préférable (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 3 p. 440); pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire, non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 2.1 p. 219).
3.
Le recours a pour objet la répartition des frais et dépens dans une procédure de mainlevée définitive.
3.1. Le juge de première instance a considéré que la décision du 7 juillet 2011 du Juge IV des districts de Martigny et St-Maurice était devenue définitive et exécutoire, selon l'attestation délivrée le 27 juin 2013 par le greffier de ce tribunal, de sorte qu'elle constituait un titre à la mainlevée définitive.
3.2. Quant à l'autorité cantonale, elle a constaté que la décision du 7 juillet 2011 avait fait l'objet d'un appel, qui a été admis le 15 mai 2012. Se référant à l'<ref-law>, elle a estimé que, compte tenu de l'effet réformatoire de l'appel, la décision du Tribunal cantonal s'était substituée au jugement de première instance, y compris quant aux frais judiciaires et aux dépens. Le fait que le recourant ait formé recours contre cette décision n'y change rien, dès lors que l'arrêt rendu ensuite dans cette affaire par le Tribunal fédéral n'a pas fait renaître la décision de première instance. Pour ces motifs, la cour cantonale a retenu que le premier juge avait violé l'<ref-law> en prononçant la mainlevée définitive de l'opposition sur la base d'un jugement dépourvu de force exécutoire.
Dès lors que, à défaut de jugement exécutoire, la requête de mainlevée ne pouvait qu'être rejetée, l'autorité de recours a mis les frais de première (110 fr.) et de seconde instances (450 fr.) à la charge du recourant en application de l'<ref-law>. Elle l'a condamné à verser à l'intimée 450 fr. à titre de remboursement de l'avance de frais dont l'intimée s'est acquittée pour la procédure cantonale, et 1'200 fr. à titre de dépens pour l'ensemble de la procédure (<ref-law>).
4.
Le recourant soutient que l'autorité cantonale a appliqué de manière arbitraire les art. 95 al. 3 let. a-b et 106 al. 1 CPC, sans égard aux <ref-law> et 4 CC.
Selon lui, la décision serait arbitraire dans ses motifs, puisque le juge aurait réparti les frais selon le texte de la loi, sans prendre en considération son esprit, en faisant abstraction de la volonté du législateur de répartir les frais et les dépens en équité, alors que les circonstances l'exigeaient. Il estime que les frais et dépens auraient dû être mis à la charge de l'intimée, respectivement de l'Etat du Valais, dès lors que c'est de bonne foi - à savoir après qu'il se soit vu remettre une attestation de force exécutoire concernant le jugement du 7 juillet 2011 - qu'il aurait introduit la procédure de mainlevée de l'opposition. Il aurait ainsi initié la procédure en se fiant aux indications erronées d'une autorité. La décision serait également arbitraire dans son résultat, le recourant étant condamné à verser une indemnité de dépens à l'intimée, bien que celle-ci ait été reconnue comme sa débitrice dans le cadre de la procédure relative au contrat de bail à loyer qui les a liés.
4.1. Les frais et dépens sont répartis entre les parties en application des art. 106 et 107 CPC, la règle étant que les frais sont en principe mis à la charge de la partie qui succombe (<ref-law>). Le tribunal est toutefois libre de s'écarter de ces règles et de les répartir selon sa libre appréciation, en statuant selon les règles du droit et de l'équité (<ref-law>; arrêt 5A_261/2013 du 19 septembre 2013 consid. 3.3), dans les hypothèses prévues par l'<ref-law>, notamment lorsqu'une partie a intenté le procès de bonne foi (<ref-law>) et lorsque des circonstances particulières rendent la répartition en fonction du sort de la cause inéquitable (art. 107 al. 1 let. f CPC). Il résulte du texte clair de l'<ref-law> que cette disposition est de nature potestative. Le tribunal dispose d'un large pouvoir d'appréciation non seulement quant à la manière dont les frais seront répartis, mais également quant aux dérogations à la règle générale de l'<ref-law> (<ref-ruling> consid. 3 p. 360).
Lorsque l'autorité cantonale dispose d'un large pouvoir d'appréciation, le Tribunal fédéral ne peut substituer sa propre appréciation à celle de la juridiction cantonale. Il n'intervient que lorsque celle-ci a excédé son pouvoir d'appréciation ou en a abusé et a abouti à un résultat manifestement injuste ou à une iniquité choquante (<ref-ruling> consid. 2.2.1 p. 279; <ref-ruling> consid. 1 p. 99; arrêt 5A_261/2013 du 19 septembre 2013 consid. 3.3; Viktor Rüegg, in: Basler Kommentar, Schweizerische Zivilprozessordnung, 2e éd., 2013, n° 2 ad art. 107; Denis Tappy, in: Code de procédure civile commenté, 2011, n° 6 ad <ref-law>).
4.2. En l'occurrence, la cour cantonale n'a pas abusé de son pouvoir d'appréciation en mettant les frais de la procédure de mainlevée à la charge du recourant. Le seul fait que le recourant a requis la mainlevée en produisant le jugement du 7 juillet 2011 sur lequel avait été apposé un tampon contenant la mention "EXECUTOIRE" ne suffit pas pour retenir que tel serait le cas. Il ressort en effet des faits de la cause que le recourant a participé à l'ensemble de la procédure consécutive au jugement du 7 juillet 2011. Or, statuant sur l'appel interjeté contre celui-ci, le Juge de la Cour civile I du Tribunal cantonal du canton du Valais a notamment fixé et réparti les frais et dépens de la procédure cantonale, mais également ceux de première instance, conformément à l'<ref-law>. Le recourant a ensuite lui-même déposé un recours au Tribunal fédéral contre cet arrêt. Le fait que le Tribunal fédéral annule un arrêt cantonal, comme il l'a fait en l'espèce (arrêt 4A_347/2012 du 5 novembre 2012), n'a pas eu pour conséquence de faire renaître la décision de première instance (arrêt 4G_1/2013 du 17 juillet 2013 consid. 1). Au demeurant, dans ces circonstances, on peut douter que le recourant puisse invoquer, le cas échéant, sa bonne foi, faute d'avoir fait preuve de l'attention que l'on pouvait exiger de lui (<ref-law>; Tappy, op. cit., n° 13 ad <ref-law>). En définitive, il y a lieu de constater que la cour cantonale n'a pas abusé du pouvoir d'appréciation dont elle bénéficiait (cf. supra consid. 4.1) en refusant de faire une exception à la règle fixée à l'<ref-law>, de sorte que le grief doit être rejeté. Enfin, on ne discerne pas en quoi l'art. 95 al. 3 lit a-b CPC aurait été appliqué de manière arbitraire, le recourant ne l'explicitant d'ailleurs pas, de sorte que sa critique est d'emblée irrecevable (cf. supra consid. 2.2).
5.
En conclusion, le recours en matière civile est irrecevable, tandis que le recours constitutionnel subsidiaire est rejeté, dans la mesure où il est recevable, aux frais du recourant (<ref-law>). Il n'y a pas lieu d'allouer une indemnité de dépens à l'intimée, qui n'a pas été invitée à se déterminer (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours en matière civile est irrecevable.
2.
Le recours constitutionnel subsidiaire est rejeté dans la mesure où il est recevable.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Il n'est pas alloué de dépens à l'intimée.
5.
Le présent arrêt est communiqué aux parties et au Juge de la Chambre civile du Tribunal cantonal du canton du Valais.
Lausanne, le 12 février 2014
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président: von Werdt
La Greffière: Bonvin