Faits :
A.
A._ (ci-après: l'entrepreneur) est titulaire d'une entreprise individuelle ayant pour but la création et l'entretien de jardins, ainsi que l'aménagement d'espaces verts.
Il a été chargé par B._ (ci-après: le maître de l'ouvrage), propriétaire d'une villa à..., d'exécuter des travaux de dallage sur la terrasse et le pourtour de sa piscine.
Le 12 mai 2016, les parties ont signé un devis des travaux, dont le montant s'élevait à 11'313 fr. 56.
Le 8 juin 2016, le maître de l'ouvrage a versé à l'entrepreneur un acompte de 5'300 fr. conformément au devis précité.
Les travaux ont débuté le 15 juin 2016.
Par courriel du 8 juillet 2016, le maître de l'ouvrage a signalé différents problèmes à l'entrepreneur. En particulier, les dalles posées n'étaient pas alignées les unes par rapport aux autres et certaines étaient rayées et/ou marquées. Il lui a imparti un délai au 15 juillet 2016 pour y remédier.
L'entrepreneur a proposé de venir rétablir la situation, ce que le maître de l'ouvrage a accepté.
Par courriel du 20 août 2016, l'entrepreneur a indiqué au maître de l'ouvrage qu'il avait tout fait pour obtenir le meilleur résultat possible, notamment en posant à nouveau une partie des dalles.
Le 26 octobre 2016, le maître de l'ouvrage a fixé à l'entrepreneur un délai pour lui faire parvenir un planning détaillé de la réparation de l'ensemble des défauts signalés.
Par courrier du 7 novembre 2016, l'entrepreneur a nié sa responsabilité et a refusé de procéder aux réfections requises. Il a en outre adressé le solde de sa facture, lequel se montait à 6'357 fr. 96.
Le 24 novembre 2016, le maître de l'ouvrage a proposé à l'entrepreneur d'annuler sa facture et qu'en contrepartie, il accepterait le jardin en l'état et ferait lui-même les réparations des défauts constatés.
L'entrepreneur n'a pas donné suite à cette suggestion et a persisté à réclamer le paiement de sa facture de 6'357 fr. 96.
B.
B.a. Le 22 mai 2017, au bénéfice d'une autorisation de procéder, le maître de l'ouvrage a saisi le Juge de paix du district de Nyon d'une demande dirigée contre l'entrepreneur, tendant notamment au paiement de la somme de 9'999 fr. avec intérêts.
L'entrepreneur a conclu au rejet de la demande du maître de l'ouvrage et, à titre reconventionnel, à ce que celui-ci doive lui verser le montant de 6'357 fr. 96 avec intérêts.
Le Juge de paix a confié la réalisation d'une expertise à C._. Ce dernier a relevé que l'importance des défauts de l'ouvrage livré par l'entrepreneur était telle que l'intégralité du dallage devait être à nouveau posée, pour un coût qui n'était pas inférieur à 10'000 francs. L'expert a estimé ce montant à 15'292 fr. 05, en précisant que la facturation de l'entrepreneur avait été particulièrement basse.
Par décision finale du 6 janvier 2020, le Juge de paix a condamné l'entrepreneur à payer au maître de l'ouvrage la somme de 9'999 fr. plus intérêts à 5 % l'an dès le 22 mai 2017 et a rejeté la demande reconventionnelle. Il a constaté l'existence d'un chef de responsabilité imputable à l'entrepreneur, lequel avait refusé de procéder aux travaux de réfection demandés. Le maître de l'ouvrage pouvait ainsi renoncer à son droit à la réparation et exiger de l'entrepreneur des dommages-intérêts positifs pour inexécution de son obligation de faire (art. 107 al. 2 CO). L'entrepreneur devait verser au maître de l'ouvrage des dommages-intérêts compensatoires correspondant à la contre-valeur de la prestation gratuite qu'il aurait dû lui fournir en exécutant son obligation de réparer l'ouvrage. Celle-ci avait été estimée à au moins 10'000 fr. par l'expert. S'agissant de la somme de 6'357 fr. 96 réclamée par l'entrepreneur, le Juge de paix a retenu que même dans le cas où il aurait fallu admettre qu'une partie de la prestation de l'entrepreneur était sujette à indemnisation, ce dernier n'avait pas établi à concurrence de quel montant celle-ci pourrait être exigée.
B.b. Statuant le 31 août 2020, la Chambre des recours civile du Tribunal cantonal vaudois a rejeté le recours formé par l'entrepreneur et a confirmé la décision attaquée. En particulier, elle a considéré que le maître de l'ouvrage ne devait pas la somme de 6'357 fr. 96 à l'entrepreneur, dès lors que le solde de la facture était contesté.
C.
L'entrepreneur (ci-après: le recourant) a exercé un recours constitutionnel subsidiaire au Tribunal fédéral, assorti d'une requête d'effet suspensif. En substance, il a conclu principalement à la réforme de l'arrêt attaqué en ce sens qu'il soit condamné à verser la somme de 9'999 fr. avec intérêts au maître de l'ouvrage (ci-après: l'intimé) et que ce dernier soit condamné à lui payer le montant de 6'357 fr. 96 avec intérêts. Subsidiairement, il a conclu à ce qu'il soit condamné à verser à l'intimé la somme de 9'999 fr. avec intérêts sous déduction du montant de 6'357 fr. 96 avec intérêts. Très subsidiairement, il a conclu à l'annulation de l'arrêt querellé et au renvoi de la cause à la Chambre des recours civile pour complément d'instruction et nouvelle décision au sens des considérants.
L'intimé a conclu au rejet du recours et de la requête d'effet suspensif. L'autorité précédente s'est référée aux considérants de l'arrêt attaqué et s'en est remise à justice concernant ladite requête.
La demande d'effet suspensif a été rejetée par ordonnance présidentielle du 21 décembre 2020.

Considérant en droit :
1.
1.1. La valeur litigieuse de cette affaire civile pécuniaire n'atteint pas le seuil de 30'000 fr. exigé par l'art. 74 al. 1 let. b LTF pour la recevabilité du recours en matière civile et la contestation ne soulève aucune question juridique de principe au sens de l'art. 74 al. 2 let. a LTF, comme l'admet le recourant. Partant, seul le recours constitutionnel subsidiaire est ouvert (art. 113 LTF).
1.2. Le recours a été déposé en temps utile (art. 117 et 100 LTF) contre une décision finale (art. 117 et 90 LTF) prise en dernière instance cantonale et sur recours par un tribunal supérieur (art. 114 et 75 LTF), par une partie qui a pris part à la procédure devant l'autorité précédente et a un intérêt juridique à la modification de la décision (art. 115 LTF).
2.
2.1. Le recours constitutionnel subsidiaire peut être formé pour violation des droits constitutionnels (art. 116 LTF). Le Tribunal fédéral n'examine que les griefs expressément soulevés et motivés conformément au principe d'allégation (art. 106 al. 2 et 117 LTF). Le recourant doit indiquer quel droit ou principe constitutionnel a été violé par l'autorité précédente et dans quelle mesure, en présentant une argumentation claire et circonstanciée; des critiques simplement appellatoires ne sont pas admissibles (<ref-ruling> consid. 1.2.2; <ref-ruling> consid. 2.4; <ref-ruling> consid. 2.2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 118 al. 1 LTF). Il peut rectifier ou compléter les constatations de l'autorité précédente si les faits ont été établis en violation du droit au sens de l'art. 116 LTF (art. 118 al. 2 LTF). La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'art. 106 al. 2 LTF (<ref-ruling> consid. 2.3 et les arrêts cités).
En matière d'appréciation des preuves et d'établissement des faits, le Tribunal fédéral n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte des preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables. L'arbitraire ne résulte pas du seul fait qu'une autre solution serait concevable, voire préférable (<ref-ruling> consid. 2.3; <ref-ruling> consid. 4.2; <ref-ruling> consid. 4.2).
3.
En l'espèce, le recourant ne conteste pas devoir verser des dommages-intérêts à l'intimé en raison de défauts de l'ouvrage livré, ni leur fondement (art. 107 al. 2 CO, deuxième hypothèse). Le litige porte uniquement sur le point de savoir si le recourant a droit au paiement par l'intimé du montant de 6'357 fr. 96, respectivement si cette somme doit être déduite du montant des dommages-intérêts qu'il doit à l'intimé (9'999 fr.).
4.
Le recourant reproche d'abord à la cour cantonale d'avoir établi les faits de manière manifestement inexacte dans la mesure où elle a retenu que le solde de sa facture, soit 6'357 fr. 96, était contesté.
Devant les juges précédents, l'intimé a soutenu qu'il n'avait jamais reconnu le bien-fondé de la facture finale. Il a ajouté que le recourant n'avait pas cherché à établir que la valeur du travail qu'il avait fourni correspondait bel et bien à la facture litigieuse. L'intimé en a conclu que le montant de 6'357 fr. 96 n'avait jamais été établi. Sur la base des éléments au dossier, la cour cantonale a constaté que le solde de la facture était contesté. Pour remettre en cause cette appréciation, le recourant se fonde sur le fait que l'intimé lui avait proposé d'annuler la facture de 6'357 fr. 96, en contrepartie de quoi ce dernier accepterait le jardin en l'état et ferait lui-même les réparations. Ce faisant, le recourant oppose sa propre appréciation à celle de l'autorité précédente et ne parvient pas à démontrer que la constatation précitée des juges cantonaux serait insoutenable. Ce grief doit dès lors être rejeté, pour autant qu'il soit recevable.
5.
Le recourant se plaint d'une application arbitraire des art. 107 al. 2 et 368 al. 2 CO, ainsi que de la jurisprudence y relative. Il fait grief à la cour cantonale d'avoir rejeté ses conclusions en paiement du solde de sa facture, respectivement de ne pas en avoir tenu compte dans le calcul de l'indemnité due à l'intimé, conformément à la théorie de la différence.
5.1. Une décision est arbitraire, donc contraire à l'art. 9 Cst., lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si la décision attaquée apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision soient insoutenables; encore faut-il que celle-ci soit arbitraire dans son résultat. Il ne suffit d'ailleurs pas non plus qu'une solution différente de celle retenue par l'autorité cantonale puisse être tenue pour également concevable ou apparaisse même préférable (<ref-ruling> consid. 7.3; <ref-ruling> consid. 4.3; <ref-ruling> consid. 2.1).
5.2. L'entrepreneur est tenu de livrer un ouvrage sans défaut. En cas de livraison d'un ouvrage défectueux, le maître a le choix, aux conditions de l'art. 368 CO, soit d'exiger la résolution du contrat (al. 1), soit la réduction du prix, soit la réfection de l'ouvrage (al. 2).
Il résulte des constatations cantonales - qui lient le Tribunal fédéral (art. 105 al. 1 LTF) - que le maître de l'ouvrage a opté en l'espèce pour une réfection de l'ouvrage, et que l'entrepreneur a refusé de procéder à l'entier des travaux de réparation demandés.
Si l'entrepreneur refuse de s'exécuter, le maître peut, sans qu'il soit nécessaire de fixer un délai à l'entrepreneur pour effectuer les réfections (art. 108 ch. 1 CO), renoncer à la réparation par ce dernier et exiger immédiatement de lui des dommages-intérêts positifs pour inexécution de son obligation de réfection; il s'agit de la deuxième faculté prévue à l'art. 107 al. 2 CO (<ref-ruling> consid. 2.3 et 2.4 et les références citées; arrêt 4A_514/2016 du 6 avril 2017 consid. 3.2.1). Dans ce cas, le dommage du maître équivaut à l'intérêt qu'il avait à l'exécution régulière de l'obligation de l'entrepreneur (<ref-ruling> consid. 7a/bb).
La quotité des dommages-intérêts compensatoires correspond à la contre-valeur de la prestation gratuite que l'entrepreneur aurait dû fournir en exécutant son obligation de réparer l'ouvrage (<ref-ruling> consid. 2.4 et les références citées; arrêt 4A_514/2016 loc. cit.).
Le maître de l'ouvrage reste en principe tenu de fournir sa propre prestation (GAUCH/SCHLUEP/EMMENEGGER, OR AT, Schweizerisches Obligationenrecht, Allgemeiner Teil, 11e éd. 2020, n° 2774; LUC THÉVENOZ, in Commentaire romand, Code des obligations I, 2e éd. 2012, nos 28 et 32 ad art. 107 CO), puisque le contrat est maintenu. Le maître de l'ouvrage doit donc imputer sur sa créance de dommages-intérêts, selon la théorie de la différence, ce qu'il aurait dû payer à l'entrepreneur si ce dernier avait exécuté régulièrement les travaux (<ref-ruling> consid. 7a/bb).
Dans l'<ref-ruling> susmentionné, le Tribunal fédéral a confirmé que le montant des dommages-intérêts positifs dû au maître de l'ouvrage devait être réduit du solde de la facture de l'entrepreneur; ce point n'était pas contesté (consid. 2.6 de l'arrêt précité).
5.3. En l'espèce, la cour cantonale a retenu que selon l'expert, les malfaçons étaient telles que l'intégralité du dallage devait être reposé, pour un coût qui n'était pas inférieur à 10'000 fr., voire pour un montant estimé à 15'292 fr. 05. Toutefois, le maître de l'ouvrage ayant limité ses prétentions à 9'999 fr., c'était ce montant-ci qui devait lui être octroyé. La cour cantonale a ajouté que l'état de fait de l'<ref-ruling> précité, dans lequel le solde de la facture de l'entrepreneur avait été déduit des dommages-intérêts dus aux maîtres de l'ouvrage, ne correspondait pas à celui de la cause qui lui était soumise. En effet, dans cette dernière, un tel solde, qui correspondait en réalité au solde du devis établi par le recourant, était contesté. L'instance précédente en a conclu qu'il n'y avait pas lieu d'octroyer au recourant le montant de 6'357 fr. 96 réclamé.
Cette somme n'était ni admise par l'intimé, ni établie. Elle ne correspond au demeurant pas exactement au solde du devis. Dès lors, elle ne pouvait être d'emblée allouée telle quelle au recourant, respectivement portée en déduction du montant qu'il devait verser à l'intimé.
Pour le surplus, il importe peu de déterminer si les juges précédents auraient dû tenir compte d'une quelconque contre-prestation de l'intimé (en dehors de l'acompte de 5'300 fr. versé) et appliquer, ou du moins discuter, la théorie de la différence citée dans l'<ref-ruling> susmentionné. En effet, en tout état de cause, le résultat auquel aboutit l'arrêt cantonal ne peut être considéré, dans ce cas précis, comme arbitraire (cf. consid. 5.1 supra). Si l'intimé a certes pu obtenir la réalisation de travaux de dallage à moindre frais (5'300 fr.), ceux-ci n'ont pas été exécutés conformément au contrat. Ils nécessitaient encore des travaux supplémentaires, pour un coût non négligeable selon l'estimation de l'expert (15'292 fr. 05), afin d'obtenir le résultat auquel l'intimé pouvait raisonnablement s'attendre. Ainsi, en se voyant octroyer la somme de 9'999 fr., l'intimé ne se trouve pas dans une bien meilleure situation que celle dans laquelle il aurait été si le recourant avait correctement réalisé son travail, devisé à 11'313 fr. 56. Partant, au vu de la réserve que s'impose le Tribunal fédéral en la matière, le recours doit être rejeté.
6.
En définitive, le recours doit être rejeté, dans la mesure où il est recevable.
Le recourant, qui succombe, prendra en charge les frais judiciaires (art. 66 al. 1 LTF). De plus, il versera une indemnité de dépens réduite à l'intimé dans la mesure où, outre ses déterminations sur la requête d'effet suspensif, celui-ci s'est limité à quelques brèves observations sur le fond du litige (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimé une indemnité de 400 fr. à titre de dépens réduits.
4.
Le présent arrêt est communiqué aux parties et à la Chambre des recours civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 27 janvier 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Raetz