Faits :
A.
A.a. A._ est propriétaire d'une parcelle située sur la commune de..., sur laquelle il a fait construire une maison d'habitation. La direction des travaux a été confiée à C._ SA.
B._ est une entreprise active dans la manufacture et la pose de volets et de stores roulants.
Par contrat conclu le 25 juin 2012, A._ (ci-après: le maître de l'ouvrage), représenté par C._ SA, a commandé à B._ (ci-après: l'entrepreneur) la fabrication et la pose de stores motorisés pour le prix forfaitaire de 60'000 fr. pour sa villa en cours de construction. Les factures devaient être adressées à C._ SA.
A.b. En cours de chantier, le maître de l'ouvrage a commandé à l'entrepreneur la fourniture et la pose d'un store motorisé supplémentaire non prévu par le contrat, pour le prix de 1'575 fr. 95.
A.c. Le 22 mars 2013 a eu lieu une séance de chantier intitulée " Réception stores - électricité ", en présence du maître de l'ouvrage, de l'entrepreneur, de C._ SA et de l'électricien. Selon le texte original du procès-verbal y afférent, quelques travaux incombaient encore à l'entrepreneur, soit notamment la pose de caches.
Sous la rubrique " remarque générale " du procès-verbal, il était indiqué que tous les stores fonctionnaient électriquement et individuellement, et que les défauts observés provenaient exclusivement de la commande centralisée, sous la seule responsabilité de l'électricien.
A.d. L'entrepreneur a procédé à la majorité des travaux résiduels listés dans le procès-verbal, à l'exception de ceux qu'il estimait incomber à d'autres entreprises.
A.e. Pour l'exécution et le prix final de ses travaux, l'entrepreneur a établi trois factures qu'il a adressées à C._ SA. La facture du 10 mai 2013 se montait à 1'575 fr. 95 et portait sur la fourniture et la pose d'un store motorisé supplémentaire commandé en cours de chantier par le maître de l'ouvrage. La deuxième facture, datée du 29 mai 2013, s'élevait à un montant net de 61'469 fr. 85, dont 14'469 fr. 85 restaient à payer après déduction des acomptes de 47'000 fr. déjà versés; elle portait sur la fourniture et la pose des stores commandés dans le contrat. La troisième facture, du 26 juillet 2013, se montait à 10'954 fr. 15 et visait l'exécution de travaux supplémentaires de nature non précisée.
Chacune des factures contenait la mention suivante: " [ n] ous considé rons que la livraison de l'ouvrage a été effectuée avec la remise de la facture. Si malgré nos efforts, vous deviez constater un défaut, celui-ci doit être annoncé dans un délai de trois jours dès réception de la facture ".
Ces factures n'ont pas été payées.
A.f. Par courriers des 30 juillet et 14 août 2013, C._ SA a répondu que les travaux n'étaient pas terminés et qu'une facture finale ne pouvait pas être prise en considération tant que les réserves n'auraient pas été levées par les parties. Elle exigeait l'envoi d'un " planning d'achèvement de chaque défaut annoncé ".
A.g. Dans un courriel du 19 novembre 2013 adressé notamment à l'entrepreneur, C._ SA s'est référée à une séance de coordination du 18 novembre 2013, lors de laquelle l'entrepreneur s'était engagé à confirmer son planning d'intervention. Elle a indiqué que les désordres constatés et dénoncés en mars 2013 devaient être réglés et que la réception des ouvrages était prévue au plus tard pour la semaine 50 de l'année 2013.
A.h. Le 11 novembre 2015, l'entrepreneur a fait notifier au maître de l'ouvrage un commandement de payer à hauteur de 26'999 fr. 95 avec intérêts, auquel le poursuivi a formé opposition.
A.i. Le 7 décembre 2015, l'entrepreneur a adressé les trois factures précitées directement au maître de l'ouvrage.
Par courriers des 16 décembre 2015 et 5 janvier 2016, le maître de l'ouvrage a communiqué à l'entrepreneur qu'il ne paierait pas ces factures, au motif que leurs montants excédaient le prix forfaitaire de 60'000 fr. stipulé dans le contrat, que des défauts subsistaient et que les travaux n'avaient pas tous été effectués ou terminés.
A.j. Les défauts encore subsistants dont se plaint le maître de l'ouvrage dans la procédure, et dont l'entrepreneur a admis l'existence, en contestant qu'ils relèvent de sa responsabilité, sont les postes suivants: 1) absence de caches de certains câbles électriques, apparents et qui pendent; 2) absence de caches latéraux sur la plupart des stores intérieurs, laissant apparaître l'extrémité des rouleaux de stores; 3) absence de caches inférieurs des caissons de stores, laissant apparaître les rouleaux de stores; 4) dimensionnement différent de l'un des trois caissons de stores d'une baie vitrée, créant une asymétrie par rapport aux deux autres; 5) ondulations et plis du store de la véranda du fait de sa tension insuffisante; 6) décrochage de sa structure du store de la baie vitrée d'entrée.
A.k. Le 24 février 2017, des représentants du maître de l'ouvrage sont venus constater les défauts sur place dans le cadre de négociations pour mettre fin au litige.
A.l. Compte tenu du refus de l'entrepreneur d'effectuer les travaux, le maître de l'ouvrage a contacté une entreprise tierce afin d'estimer les coûts nécessaires pour corriger les défauts. Le 19 juin 2017, celle-ci a établi un devis d'un montant de 48'643 fr. 20 portant sur le remplacement intégral de toute l'installation de stores.
B.
B.a. Au bénéfice d'une autorisation de procéder, l'entrepreneur a saisi le Tribunal de première instance du canton de Genève d'une demande dirigée contre le maître de l'ouvrage en vue d'obtenir le paiement du montant de 26'999 fr. 95 avec intérêts. Il a également requis le prononcé de la mainlevée définitive de l'opposition formée au commandement de payer précité.
Le tribunal a entendu les parties et plusieurs témoins. En particulier, le témoin D._, employé de l'entrepreneur intervenu sur le chantier litigieux en qualité de chef de projet, a déclaré que le mot d'ordre de la direction était " on termine si M. A._ paie ".
Par jugement du 15 mai 2020, le tribunal a condamné le maître de l'ouvrage à verser à l'entrepreneur le montant de 14'575 fr. 95 avec intérêts, a prononcé à due concurrence la mainlevée définitive de l'opposition formée au commandement de payer et a débouté les parties de toutes autres conclusions. Le tribunal a retenu que seule la somme de 1'575 fr. 95 relative à la commande d'un store supplémentaire, ainsi que le forfait initial de 60'000 fr., étaient dus. Compte tenu des acomptes versés à hauteur de 47'000 fr., le maître de l'ouvrage devait encore 14'575 fr. 95 à l'entrepreneur. Le tribunal a considéré que les défauts invoqués étaient purement esthétiques et/ou n'avaient été signalés que tardivement, de sorte que les prétentions du maître de l'ouvrage à cet égard étaient infondées.
B.b. Par arrêt du 2 mars 2021, la Chambre civile de la Cour de justice du canton de Genève a partiellement admis l'appel interjeté par le maître de l'ouvrage. Statuant à nouveau, elle a condamné le maître de l'ouvrage à payer à l'entrepreneur le montant de 11'575 fr. 95 avec intérêts, de même que la somme de 3'000 fr., cette dernière sous réserve de l'exécution des travaux résiduels par l'entrepreneur, à savoir la dissimulation des câbles électriques du store xxx de la cage d'escalier et du store yyy côté salon (poste 1), la pose de caches latéraux sur les stores xxx des chambres des enfants (poste 2) et la pose de caches inférieurs sur les stores du séjour et de la chambre des parents (poste 3). La cour a également levé définitivement, à concurrence de 11'575 fr. 95 avec intérêts, l'opposition formée au commandement de payer précité et a confirmé le jugement entrepris pour le surplus.
C.
Le maître de l'ouvrage (ci-après: le recourant) a formé un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral. Il a conclu à la réforme de l'arrêt attaqué en ce sens qu'il soit condamné à payer à l'entrepreneur (ci-après: l'intimée) le montant de 14'575 fr. 95 sous réserve de l'exécution, par l'intimée, des travaux résiduels susmentionnés (poste 1 à 3), du remplacement de l'un des trois caissons de stores d'une baie vitrée créant une asymétrie par rapport aux deux autres (poste 4) et de la réfection des ondulations et plis du store de la véranda causés par sa tension insuffisante (poste 5). Subsidiairement, il a conclu à l'annulation de cet arrêt et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants.
Dans sa réponse, l'intimée a conclu, en substance, à l'irrecevabilité des recours interjetés.
La cour cantonale s'est référée aux considérants de son arrêt.
Le recourant a déposé une réplique spontanée.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2).
1.1. Le recourant admet que la valeur litigieuse de cette affaire civile pécuniaire n'atteint pas le seuil de 30'000 fr. exigé par l'<ref-law>. Il plaide que le recours en matière civile serait néanmoins recevable au motif que la contestation soulèverait deux questions juridiques de principe au sens de l'<ref-law>.
1.2. La jurisprudence n'admet que restrictivement l'existence d'une question juridique de principe, qui permet de déroger à l'exigence de la valeur litigieuse. Pour qu'une telle condition soit réalisée, il ne suffit pas que la question juridique n'ait jamais été tranchée par le Tribunal fédéral. Encore faut-il que la résolution du cas d'espèce implique de résoudre une question juridique donnant lieu à une incertitude caractérisée, appelant de manière pressante un éclaircissement de la part du Tribunal fédéral en tant qu'autorité judiciaire suprême chargée de dégager une interprétation uniforme du droit fédéral (<ref-ruling> consid. 1.4.1; <ref-ruling> consid. 1.2 et les arrêts cités). Une nouvelle question juridique peut ainsi être tranchée par le Tribunal fédéral lorsque cette décision est propre à orienter la pratique, soit lorsque les instances inférieures sont appelées à trancher de nombreux cas similaires (<ref-ruling> consid. 1.3; <ref-ruling> consid. 1.3). Il y a également lieu d'examiner s'il est probable ou non que la question litigieuse puisse un jour être présentée avec une valeur litigieuse suffisante pour ouvrir la voie du recours en matière civile (<ref-ruling> consid. 1.2, 267 consid. 1.2.3). Si le point soulevé ne concerne que l'application de principes jurisprudentiels à un cas particulier, il ne saurait être qualifié de question juridique de principe (<ref-ruling> consid. 1.4.1).
La partie recourante doit démontrer, sous peine d'irrecevabilité, que la décision attaquée soulève une telle question, à moins que celle-ci s'impose de façon évidente (art. 42 al. 2 2ème phrase LTF; <ref-ruling> consid. 1.2; <ref-ruling> consid. 1.3).
1.3. En l'occurrence, selon le recourant, est une question juridique de principe le point de savoir si le droit de retenir sa prétention découlant de l'<ref-law> est " limité par le principe selon lequel la prestation retenue ne peut excéder la valeur de la prestation attendue en échange de ce qui est nécessaire pour inciter l'autre partie à s'exécuter ". Il allègue que cette thèse se fonde sur une partie de la doctrine, tout en allant à l'encontre du texte légal. D'après lui, l'incertitude juridique créée par cette opinion doctrinale est caractérisée et mériterait d'être tranchée par le Tribunal fédéral, ce d'autant plus que cette problématique est susceptible de se répéter un nombre incalculable de fois. Toutefois, la brève motivation du recourant repose principalement sur ses propres affirmations. En particulier, il ne tente pas de démontrer l'existence d'une incertitude caractérisée ou de pratiques cantonales divergentes, qui appelleraient de manière pressante un éclaircissement du Tribunal fédéral. Ainsi, les quelques lignes que consacre le recourant à l'existence d'une prétendue question juridique de principe sont insuffisantes au regard des exigences de motivation prévalant en la matière. Les compléments qu'il fournit dans sa réplique sont tardifs et n'ont pas à être pris en compte. S'agissant de la seconde question juridique de principe dont il se prévaut, à savoir si le juge peut retenir d'office l'absence d'avis des défauts malgré la jurisprudence faisant supporter le fardeau de l'allégation à l'entrepreneur, la motivation du recourant, qui se limite à une seule phrase, est encore plus lacunaire. Par ailleurs, l'existence de questions juridiques de principe ne s'impose pas de façon évidente. Au demeurant, les questions soulevées sont susceptibles d'être présentées avec une valeur litigieuse suffisante pour ouvrir la voie du recours en matière civile. Partant, le recours en matière civile est irrecevable.
1.4. Seule reste ouverte la voie du recours constitutionnel subsidiaire (<ref-law>).
Le recours a été déposé en temps utile (art. 46 al. 1 let. a, 45 al. 1, 117 et 100 LTF) contre une décision finale (art. 117 et 90 LTF) prise en dernière instance cantonale et sur recours par un tribunal supérieur (art. 114 et 75 LTF), par une partie qui a pris part à la procédure devant l'autorité précédente et a un intérêt juridique à la modification de la décision (<ref-law>). Le recours constitutionnel subsidiaire est dès lors recevable.
2.
2.1. Le recours constitutionnel subsidiaire peut être formé uniquement pour violation des droits constitutionnels (<ref-law>). Le Tribunal fédéral n'examine que les griefs expressément soulevés et motivés conformément au principe d'allégation (art. 106 al. 2 et 117 LTF). Le recourant doit indiquer quel droit ou principe constitutionnel a été violé par l'autorité précédente et dans quelle mesure, en présentant une argumentation claire et circonstanciée; des critiques simplement appellatoires ne sont pas admissibles (<ref-ruling> consid. 1.2.2; <ref-ruling> consid. 2.4; <ref-ruling> consid. 2.2).
Lorsqu'elle soulève le grief d'arbitraire (art. 9 Cst.) dans l'application du droit, la partie recourante ne peut se contenter de plaider que la décision attaquée serait arbitraire. Elle doit expliquer, sur la base de la subsomption opérée dans le cas concret, en quoi la décision attaquée méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou encore heurte de manière choquante le sentiment de la justice et de l'équité. L'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution serait concevable, voire préférable. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si la décision entreprise apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. Il ne suffit pas que les motifs de la décision soient insoutenables; encore faut-il que celle-ci soit arbitraire dans son résultat (<ref-ruling> consid. 2; <ref-ruling> consid. 4.1 et les arrêts cités). Le Tribunal fédéral n'a pas à examiner quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement dire si l'interprétation qui a été faite est défendable (<ref-ruling> consid. 2; <ref-ruling> consid. 5.1).
2.2. Le recourant a regroupé, dans un même recours, son recours en matière civile et son recours constitutionnel subsidiaire. Au vu des principes énoncés ci-dessus, seuls les griefs en lien avec la violation d'un droit constitutionnel seront examinés. Les autres sont d'emblée irrecevables et n'ont pas à être pris en compte.
3.
La cour cantonale a d'abord retenu que la livraison des travaux avait eu lieu le 22 mars 2013. Ceci n'est pas contesté par le recourant.
Selon l'autorité précédente, les postes 1 à 3 susmentionnés concernaient des achèvements manquants, relevant de la responsabilité de l'entrepreneur. Faute pour celui-ci d'avoir exécuté ou offert d'exécuter ces travaux résiduels, le maître de l'ouvrage était en droit de retenir une partie du prix de l'ouvrage (<ref-law>). La rétention du solde de 14'575 fr. 95 apparaissait toutefois excessive au regard du principe de la bonne foi, dans la mesure où ce montant correspondait à près d'un quart du prix total de l'ouvrage, alors que les travaux résiduels n'étaient que superficiels. Le coût de ces derniers n'avait pas été établi, ni même allégué. Le devis produit, s'élevant à un montant de 48'643 fr. 20, portait sur le remplacement intégral de toute l'installation de stores et ne saurait ainsi être pris en considération pour estimer le coût des achèvements manquants. Au vu de la faible ampleur de ces travaux, la cour cantonale a estimé qu'un montant de 3'000 fr., correspondant à 5 % du prix de l'ouvrage, était adéquat pour les couvrir et inciter l'entrepreneur à les achever sans délai. Le maître de l'ouvrage était ainsi autorisé à retenir le montant de 3'000 fr. jusqu'à l'achèvement des travaux par l'entrepreneur.
D'après la cour cantonale, les postes 4 à 6 précités constituaient des défauts de l'ouvrage livré. Pour que le maître de l'ouvrage soit légitimé à retenir le paiement du prix au motif que l'entrepreneur n'avait pas réparé les défauts, il convenait de déterminer si le maître de l'ouvrage était en droit d'exiger la réfection de l'ouvrage. Or, les défauts 4 et 5 étaient immédiatement décelables et n'avaient fait l'objet d'aucune remarque lors de la séance de réception du 22 mars 2013. Ils n'avaient pas été signalés avant 2017. Même si l'entrepreneur n'avait pas allégué la tardiveté de l'avis des défauts, elle était manifeste, au vu des éléments ressortant du dossier. La cour cantonale a confirmé l'appréciation du premier juge, à savoir que le maître de l'ouvrage était déchu de ses droits à cet égard. Quant au défaut 6, il était manifestement apparu postérieurement à la séance du 22 mars 2013. Le maître de l'ouvrage n'avait pas établi, ni même allégué, que l'ouvrage présentait un défaut imputable à l'entrepreneur, de sorte que ce dernier n'était pas tenu à garantie.
4.
Dans un premier moyen, le recourant se prévaut d'une violation de son droit d'être entendu (art. 29 al. 2 Cst.). Il reproche aux juges cantonaux d'avoir fondé leur décision sur certains points dont les parties ne s'étaient pas prévalues, qui n'avaient pas fait l'objet des débats, et avec lesquels elles ne devaient pas compter. Tout d'abord, ils avaient qualifié d'abus de droit le fait de retenir le montant de 14'575 fr. 95 sur la base de l'<ref-law>. Ils avaient ensuite considéré que ce montant dépassait ce qui était adéquat pour couvrir les frais de réfection et inciter l'intimée à procéder à la réfection. Enfin, ils avaient retenu comme établi l'absence d'avis des défauts. Le recourant y voit également une violation de son droit à un procès équitable consacré à l'art. 6 par. 1 CEDH.
4.1. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. confère au justiciable, entre autres prérogatives, le droit de s'exprimer sur tous les éléments pertinents avant qu'une décision touchant sa situation juridique ne soit rendue. Le droit d'être entendu se rapporte surtout à la constatation des faits. Cette disposition constitutionnelle ne comporte pas, en principe, le droit de se prononcer sur l'appréciation juridique des faits ni, plus généralement, sur l'argumentation juridique à retenir, de sorte que l'autorité n'a pas à soumettre aux parties, pour prise de position, le raisonnement qu'elle envisage de suivre. Ce droit doit être toutefois reconnu lorsqu'elle entend fonder sa décision sur un motif juridique qui n'a jamais été évoqué dans la procédure antérieure et dont aucune des parties ne s'est prévalue, ni ne pouvait supputer la pertinence (<ref-ruling> consid. 3.1; <ref-ruling> consid. 4.1 et les arrêts cités).
4.2. En l'espèce, s'agissant de l'appréciation juridique opérée par la cour cantonale, le recourant ne parvient pas à démontrer que le cas de figure remplirait les conditions de l'exception précitée, de manière à fonder l'obligation pour la cour cantonale de garantir son droit d'être entendu à cet égard. Le fait que la partie adverse n'a pas invoqué que le montant retenu était contraire à la bonne foi, ou abusif, ne suffit pas pour considérer que les parties ne pouvaient pas compter sur une telle qualification.
Ensuite, en retenant que le montant de 14'575 fr. 95 dépassait ce qui était adéquat pour couvrir les frais de réfection et inciter l'intimée à effectuer ces travaux, la cour cantonale a procédé à une appréciation des preuves sur la base des éléments pertinents figurant au dossier, ce qui ne relève pas du droit d'être entendu. D'ailleurs, la cour cantonale a motivé à satisfaction cette appréciation.
Enfin, en lien avec l'absence d'avis des défauts, on doit relever que le recourant s'est exprimé à ce sujet dans le cadre de la procédure de première instance. En effet, dans sa demande, l'intimée a allégué que par courrier du 22 décembre 2015, elle avait informé que les défauts relevés en mars 2013 avaient été corrigés (cf. demande du 9 mars 2017, allégué 33). Elle a produit ce courrier à l'appui de sa demande (cf. pièce 19). Dans sa réponse, le recourant a résumé ce courrier, en relevant non seulement que l'intimée y indiquait que les problèmes soulevés en mars 2013 avaient été corrigés, mais également qu'elle n'avait pas reçu d'autre réclamation, de sorte que l'ouvrage aurait été réceptionné " par voie tacite "; le recourant a alors reproché à l'intimée d'avoir passé sous silence plusieurs plaintes que lui avait adressées C._ SA en juillet, août et novembre 2013, ainsi que le courrier du 5 janvier 2016 qu'il lui avait lui-même envoyé (cf. réponse du 23 juin 2017, allégués 65 ss, p. 17). Plus loin, le recourant a soutenu que l'ouvrage n'était pas terminé ou défectueux, et que l'avis des défauts avait été effectué à plusieurs reprises, le 22 mars 2013 et par la suite notamment par courriel du 14 août 2013 (cf. réponse précitée, p. 22 et p. 23).
Dans ces conditions, le grief du recourant lié à la violation de son droit d'être entendu doit être rejeté.
Le recourant ne démontre pas dans quelle mesure l'art. 6 CEDH dont il se prévaut s'étendrait au-delà du contenu de l'art. 29 al. 2 Cst., puisqu'il expose lui-même que ces dispositions consacrent le même principe. Dès lors, il n'y a pas lieu d'entrer en matière sur ce grief.
5.
Dans un deuxième moyen, le recourant, invoquant l'art. 9 Cst., reproche à la cour cantonale d'avoir appliqué de manière arbitraire l'<ref-law>, consacrant la maxime des débats. Il soutient que les juges cantonaux ont retenu qu'aucun avis des défauts n'avait été donné, alors que cela n'avait été ni allégué, ni prouvé. Il en allait de même de leur constatation selon laquelle le montant de 14'575 fr. 95 dépassait ce qui était adéquat pour couvrir les frais de réfection (postes 1 à 3) et faire suffisamment pression sur l'entrepreneur pour procéder à la réfection.
5.1.
5.1.1. Lorsque la maxime des débats est applicable (<ref-law>), il incombe aux parties, et non au juge, de rassembler les faits du procès. Les parties doivent alléguer les faits sur lesquels elles fondent leurs prétentions (fardeau de l'allégation subjectif), produire les moyens de preuve qui s'y rapportent (<ref-law>) et contester les faits allégués par la partie adverse, le juge ne devant administrer les moyens de preuve que sur les faits pertinents et contestés (<ref-law>) (<ref-ruling> consid. 5.1). A cet égard, il importe peu que les faits aient été allégués par le demandeur ou par le défendeur puisqu'il suffit que les faits fassent partie du cadre du procès pour que le juge puisse en tenir compte (<ref-ruling> consid. 4.1; arrêts 4A_537/2020 du 23 février 2021 consid. 3.3.1; 4A_288/2018 du 29 janvier 2019 consid. 3.1.2 et les arrêts cités).
Le demandeur, qui supporte en principe le fardeau de l'allégation objectif et le fardeau de la preuve (<ref-law>), en ce sens qu'il supporte les conséquences de l'absence d'allégation de ce fait (fardeau de l'allégation objectif), respectivement celles de l'absence de preuve de celui-ci, a évidemment toujours intérêt à l'alléguer lui-même, ainsi qu'à indiquer au juge les moyens propres à l'établir (<ref-ruling> consid. 4.1; arrêts précités 4A_537/2020 consid. 3.3.1 et 4A_288/2018 consid. 3.1.2).
5.1.2. Le Code des obligations prévoit qu'après la livraison de l'ouvrage, le maître doit en vérifier l'état aussitôt qu'il le peut d'après la marche habituelle des affaires, et en signaler les défauts à l'entrepreneur, s'il y a lieu (<ref-law>). Si les défauts ne se manifestent que plus tard, le maître doit les signaler aussitôt qu'il en a connaissance (<ref-law>).
La loi institue une fiction d'acceptation tacite de l'ouvrage lorsque le maître ne donne pas l'avis des défauts aussitôt qu'il a connaissance de ceux-ci. L'entrepreneur est libéré de toute responsabilité en relation avec les défauts qui ont été annoncés tardivement (cf. <ref-law>); parallèlement, les droits du maître découlant de la garantie des défauts sont frappés de péremption (arrêts 4A_288/2018 précité consid. 6.1.1; 4A_251/2018 du 11 septembre 2018 consid. 3.1).
Selon les <ref-ruling> consid. 2a et 118 II 142 consid. 3a, le maître de l'ouvrage (ou l'acheteur) qui émet des prétentions en garantie doit prouver qu'il a donné l'avis des défauts en temps utile, mais il incombe à l'entrepreneur (ou au vendeur) d'alléguer l'acceptation de l'ouvrage découlant de la tardiveté de l'avis des défauts. Le juge doit d'autant moins vérifier d'office la ponctualité de l'avis des défauts que ce point dépend fortement des circonstances d'espèce et des pratiques commerciales. Cette jurisprudence implique une séparation des fardeaux de l'allégation et de la preuve. Après avoir, dans un premier temps, exprimé des doutes sur cette " séparation inusuelle " des fardeaux de l'allégation (objectif) et de la preuve, tout en laissant la question en suspens, le Tribunal fédéral a finalement maintenu sa jurisprudence publiée aux <ref-ruling> et 118 II 142 dans plusieurs arrêts (cf. notamment les arrêts 4A_288/2018 précité consid. 6.1.2; 4A_388/2017 du 22 février 2018 consid. 5.1; 4A_405/2017 du 30 novembre 2017 consid. 3.3 et les arrêts cités; arrêt 4A_28/2017 du 28 juin 2017 consid. 4). L'entrepreneur (ou le vendeur) supporte donc le fardeau de l'allégation objectif de l'absence d'avis des défauts ou de la tardiveté de celui-ci et le maître de l'ouvrage (ou l'acheteur) supporte le fardeau de la preuve de l'un ou l'autre de ces faits (arrêts précités 4A_537/2020 consid. 3.3.2 et 4A_288/2018 consid. 6.1.2).
5.2. En l'espèce, la cour cantonale a retenu que bien que l'entrepreneur supporte le fardeau de l'allégation objectif de l'absence ou de la tardiveté de l'avis des défauts, le juge était tenu de constater la péremption des droits de garantie si le dossier permettait de considérer la tardiveté de l'avis des défauts comme prouvée, ce qui était le cas en l'occurrence. Elle s'est fondée sur l'opinion de deux auteurs (PETER GAUCH, Der Werkvertrag, 6e éd. 2019, n° 2174; TERCIER/BIERI/CARRON, Les contrats spéciaux, 5e éd. 2016, n° 3832).
Pour que l'arbitraire dans l'application du droit soit reconnu, il ne suffit pas que les motifs de la décision soient insoutenables; encore faut-il que celle-ci soit arbitraire dans son résultat. En l'occurrence, en lien avec l'avis des défauts, il n'y a pas lieu d'examiner si l'analyse de la cour cantonale est ou non arbitraire. En effet, quoi qu'il en soit, le recourant ne parvient pas à démontrer que le résultat de la décision serait arbitraire. Il se limite à relever que si la cour cantonale n'avait pas pris en compte l'absence d'avis des défauts, elle aurait considéré que le montant adéquat à retenir devait tenir compte des frais d'achèvement de l'ouvrage et de ceux de réfection, et le paiement de ce montant aurait été conditionné non seulement à l'achèvement mais également à la réfection. Toutefois, il ne soutient, ni ne démontre que les deux seuls défauts impactés par la tardiveté de l'avis des défauts (postes 4 et 5) seraient d'une ampleur telle que le résultat de l'arrêt cantonal serait insoutenable. On doit ainsi constater qu'en niant les droits du maître de l'ouvrage en lien avec les défauts, la cour cantonale n'est pas parvenue à un résultat arbitraire.
5.3. S'agissant des postes 1 à 3, l'autorité précédente a considéré que le montant de 14'575 fr. 95 dépassait ce qui était adéquat pour couvrir les frais de réfection et inciter l'entrepreneur à achever ces travaux. Cela n'a pas été allégué par l'intimée. La cour cantonale a, à cet égard, procédé à une appréciation des preuves administrées. Si une violation de l'<ref-law> pouvait entrer en ligne de compte (cf. <ref-ruling> consid. 4.1 ss, in SJ 2016 I p. 429), on ne saurait toutefois reprocher à l'autorité précédente d'avoir violé cette disposition de manière arbitraire, comme cela est requis dans le cadre d'un recours constitutionnel subsidiaire.
6.
Dans un troisième moyen, le recourant fait grief à la cour cantonale d'avoir fait preuve d'arbitraire dans l'appréciation des preuves en lien avec la fixation du montant de 3'000 fr. Il soutient que la rétention de la somme de 14'575 fr. 95 n'avait pas été suffisante pour inciter l'intimée à achever son travail, de sorte que le montant de 3'000 fr. ne pouvait être considéré comme adéquat.
6.1. En matière d'appréciation des preuves, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. L'arbitraire ne résulte pas du seul fait qu'une autre solution serait envisageable, voire préférable (<ref-ruling> consid. 4.2).
6.2. La somme de 3'000 fr. retenue par l'autorité précédente, au terme d'une appréciation motivée et pertinente (cf. consid. 3 supra), n'est pas arbitraire. Le recourant, qui oppose sa propre appréciation à celle de la cour cantonale, ne parvient pas à démontrer le contraire.
7.
Enfin, le recourant s'est limité à affirmer que la cour cantonale aurait dû constater qu'aucun intérêt n'était dû sur la somme qu'il a été condamné à payer. Cette unique phrase ne satisfait pas aux exigences de motivation prévalant devant le Tribunal fédéral.
8.
En définitive, à tout le moins, le résultat auquel a abouti la cour cantonale, à savoir que le maître de l'ouvrage est condamné à payer à l'entrepreneur la somme de 11'575 fr. 95 avec intérêts, ainsi que la somme de 3'000 fr. sous réserve de l'exécution des travaux résiduels (postes 1 à 3), n'est pas arbitraire.
9.
En conclusion, le recours en matière civile est irrecevable, tandis que le recours constitutionnel subsidiaire doit être rejeté dans la mesure de sa recevabilité.
Le recourant, qui succombe, prendra en charge les frais judiciaires (<ref-law>). Il versera en outre une indemnité de dépens à l'intimée (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière civile est irrecevable.
2.
Le recours constitutionnel subsidiaire est rejeté dans la mesure où il est recevable.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4.
Le recourant versera à l'intimée une indemnité de 2'500 fr. à titre de dépens.
5.
Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 2 décembre 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Raetz