Faits :
A.
Par contrat de bail du 23 décembre 2013, le bailleur A._ a cédé à la locataire B._ l'usage d'une villa de 5,5 pièces à xxx pour un loyer mensuel net de 5'000 fr. Le bail était conclu pour une durée déterminée de trois ans échéant le 31 décembre 2016.
L'état des lieux d'entrée a eu lieu le 23 décembre 2013.
Par avenant du 12 décembre 2016, le bail a été prolongé pour une durée de quinze mois jusqu'au 31 mars 2018.
Le 24 juillet 2017, la locataire a déclaré résilier son contrat de bail de manière anticipée avec effet au 15 septembre 2017 au plus tard.
Par courrier du 2 août 2017, le bailleur a indiqué qu'il acceptait la résiliation du bail pour la prochaine échéance, soit le 31 mars 2018. Il a rendu la locataire attentive au fait qu'elle pouvait être libérée de ses obligations avant cette date, en présentant au moins un dossier d'un candidat solvable et objectivement acceptable pour le bailleur disposé à reprendre les locaux aux mêmes conditions que celles en vigueur.
La locataire a quitté la villa le 15 septembre 2017. Elle a cessé de payer le loyer dès le mois de novembre 2017, ce qui a donné lieu à plusieurs courriers de rappel du bailleur.
Le 12 décembre 2017, le bailleur a rappelé à la locataire qu'elle restait liée par le contrat de bail jusqu'au 31 mars 2018. Pour l'aider dans sa recherche d'éventuels candidats disposés à reprendre le bail avant son terme, il l'invitait à prendre contact avec lui aux fins de fixer un rendez-vous dès janvier 2018 en vue d'effectuer un état des lieux préliminaire de la villa et prendre des photographies de celle-ci à des fins publicitaires, ce qui favoriserait les chances de trouver un nouveau locataire avant le 31 mars 2018.
Le 23 janvier 2018, le bailleur a proposé à la locataire d'effectuer un état des lieux préliminaire le 31 janvier 2018 et lui a rappelé son obligation de permettre l'accès au bien afin d'organiser des visites en vue de la relocation de la villa. La locataire ne s'est pas présentée le 31 janvier 2018, de sorte que l'état des lieux n'a pas eu lieu.
Le 6 mars 2018, le bailleur a fait savoir à la locataire qu'il considérait avoir été empêché de faire visiter le bien en vue de le louer ultérieurement et qu'il la tenait dès lors pour responsable du retard causé dans la relocation de la villa. Il l'invitait à lui remettre immédiatement les clés afin qu'il puisse accéder à la villa en vue de la faire visiter ou de procéder à des travaux.
Le 15 mars 2018, le bailleur a informé la locataire que l'état des lieux de sortie se tiendrait le 29 mars 2018. A cette occasion, il a précisé que, si les travaux nécessaires n'étaient pas effectués d'ici le 29 mars 2018, il se verrait contraint de faire appel à des entreprises spécialisées dont les frais d'intervention seraient à la charge de la locataire.
La locataire a restitué les clés de la villa au bailleur en date du 26 mars 2018, en expliquant ne pas l'avoir fait auparavant en raison d'importants problèmes de santé.
Selon l'état des lieux établi le 29 mars 2018 par un huissier judiciaire, le parquet de la villa comportait des taches noires, des traces de vernis au salon, des coups et des rayures dans une petite chambre, des taches d'humidité et des coups apparaissaient sur l'escalier, certains murs présentaient des trous de tampons et de spots d'applique, des plafonniers et une étagère n'avaient pas été enlevés, une légère tache noire était visible sur un mur, la moquette d'une petite chambre était usée et tachée, la porte du congélateur se déboîtait et sa poignée avait disparu.
Le bailleur a reçu les factures suivantes pour divers travaux effectués dans la villa:
- travaux sur parquets et remplacement des moquettes: 10'350 fr.;
- travaux de peinture dans toutes les pièces: 7'200 fr.;
- nettoyage complet du jardin: 1'050 fr.;
- fourniture de 4'100 litres d'huile de chauffage: 3'772 fr.;
- remplacement d'un inverseur bain/douche avec poignée et d'un verre à dent: 165 fr.;
- fixation de la plaque de ventilation: 177 fr.;
- fourniture d'un compartiment de congélation: 365 fr.
B.
Le 14 novembre 2018, le bailleur, au bénéfice d'une autorisation de procéder, a saisi le Tribunal des baux et loyers du canton de Genève d'une demande tendant à ce que la locataire soit condamnée à lui payer divers montants dont 23'850 fr. 15, intérêts en sus, à titre de frais de travaux de remise en état de la villa.
La défenderesse a conclu au déboutement du demandeur. En cours de procédure, elle a toutefois reconnu trois factures représentant un montant total de 732 fr. 15.
Par jugement du 28 octobre 2019, le Tribunal des baux a partiellement fait droit à la demande. Il a condamné la défenderesse à payer la somme de 25'000 fr. correspondant aux loyers impayés ainsi que le montant de 1'443 fr. à titre de remboursement des frais de l'huissier mandaté par le demandeur, le tout avec intérêts. En ce qui concerne les prétentions en remboursement des frais de remise en état de la villa, il a mis à la charge de la locataire les factures reconnues par elle (732 fr. 15) ainsi que les frais de remplissage de la citerne à mazout, soit un total de 4'504 fr. 15, intérêts en sus. Pour le reste, il a rejeté lesdites prétentions, faute pour le demandeur d'avoir dûment avisé la défenderesse d'éventuels défauts dont il la tenait pour responsable.
Saisie d'un appel du bailleur, la Chambre des baux et loyers de la Cour de justice l'a rejeté par arrêt du 14 septembre 2020.
C.
Le 16 octobre 2020, le demandeur (ci-après: le recourant) a formé un recours en matière civile contre cet arrêt. En substance, il conclut à la réforme de la décision attaquée en ce sens que la locataire soit condamnée à lui payer la somme de 19'346 fr., intérêts en sus, correspondant au solde des frais de remise en état de la chose louée (23'850 fr. 15 - 4'504 fr. 15). Subsidiairement, il réclame le paiement d'un montant de 1'050 fr., intérêts en sus.
Au terme de sa réponse, la défenderesse (ci-après: l'intimée) a conclu au rejet du recours.
La cour cantonale déclare se référer aux considérants de son arrêt.
Le recourant a déposé une réplique spontanée, suscitant le dépôt d'une duplique de l'intimée.

Considérant en droit :
1.
Les conditions de recevabilité du recours en matière civile sont réalisées sur le principe, notamment sous l'angle de la valeur litigieuse minimale de 15'000 fr. (<ref-law>) et du délai pour recourir (<ref-law>). Demeure réservé l'examen de la recevabilité du grief soulevé par le recourant.
2.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Relèvent de ces faits tant les constatations relatives aux circonstances touchant l'objet du litige que celles concernant le déroulement de la procédure conduite devant l'instance précédente et en première instance, c'est-à-dire les constatations ayant trait aux faits procéduraux (<ref-ruling> consid. 1.3.1 et les références). Le Tribunal fédéral ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). "Manifestement inexactes" signifie ici "arbitraires" (<ref-ruling> consid. 2 p. 117; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 p. 266 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (<ref-ruling> consid. 1.3.1 p. 18 et les références). Si elle souhaite obtenir un complètement de l'état de fait, elle doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes, en conformité avec les règles de la procédure, les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (<ref-ruling> consid. 2 p. 90). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1 p. 18). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3 p. 261 s.).
Concernant l'appréciation des preuves, le Tribunal fédéral n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte des preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 4.2 p. 234; <ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 4.3 p. 62; <ref-ruling> consid. 1.4.3 p. 254; <ref-ruling> consid. 2.1 p. 9). Il ne suffit pas qu'une appréciation différente puisse être tenue pour également concevable, ou apparaisse même préférable (<ref-ruling> consid. 7.3; <ref-ruling> consid. 4.3; <ref-ruling> consid. 2.1).
2.2. Le Tribunal fédéral applique le droit d'office (<ref-law>). Toutefois, compte tenu de l'obligation de motiver qui incombe au recourant en vertu de l'<ref-law>, il n'examine pas, comme le ferait un juge de première instance, toutes les questions juridiques qui pourraient se poser, mais uniquement celles qui sont soulevées devant lui (<ref-ruling> consid. 2 p. 88; <ref-ruling> consid. 5 p. 243; <ref-ruling> consid. 1.3 p. 584), à moins que la violation du droit ne soit manifeste (<ref-ruling> consid. 2 p. 116).
3.
A ce stade, le litige porte uniquement sur la question de savoir si l'intimée est tenue ou non de dédommager le recourant pour les frais que celui-ci a supportés en raison des travaux effectués dans la villa remise en location.
3.1. L'<ref-law> dispose qu'à la fin du bail, le locataire doit restituer la chose dans l'état qui résulte d'un usage conforme au contrat. A contrario, il incombe au locataire de prendre à sa charge les dégâts qui excèdent l'usure normale de la chose. Conformément à l'<ref-law>, il appartient au bailleur d'apporter la preuve du défaut excédant l'usure normale, du dommage en résultant et de son étendue. Sous peine de voir ses droits périmés, le bailleur doit en outre vérifier l'état de la chose lors de la restitution et aviser immédiatement le locataire des défauts dont celui-ci répond, le cas des défauts cachés étant réservé (arrêt 4A_589/2012 du 21 novembre 2012 consid. 2.1).
3.2. Le recourant reproche à la cour cantonale d'avoir enfreint l'<ref-law>, en violant les règles sur le fardeau de l'allégation. A cet égard, il relève que la jurisprudence du Tribunal fédéral relative à l'avis des défauts dans les domaines de la vente et du contrat d'entreprise consacre, en la matière, une séparation des fardeaux de l'allégation objectif et de la preuve. En effet, l'entrepreneur (ou le vendeur) supporte le fardeau de l'allégation objectif de l'absence d'avis des défauts ou de la tardiveté de celui-ci et le maître de l'ouvrage (ou l'acheteur) supporte le fardeau de la preuve de l'un ou l'autre de ces faits. Selon le recourant, cette jurisprudence doit aussi être appliquée dans le domaine du bail à loyer, lorsque le bailleur fait valoir des prétentions sur la base de l'<ref-law>. Dans un tel cas, le locataire supporterait le fardeau de l'allégation objectif de l'absence d'avis des défauts, tandis que le bailleur supporterait le fardeau de la preuve de ce fait. Soulignant que la maxime des débats était applicable en l'espèce compte tenu de la nature des prétentions élevées et de la valeur litigieuse supérieure à 30'000 fr., le recourant fait grief à la cour cantonale d'avoir retenu, à l'instar de l'autorité de première instance, qu'aucun avis des défauts n'avait été donné par le bailleur, alors même que la défenderesse n'avait pas allégué l'absence d'avis des défauts.
3.3.
3.3.1. Lorsque la maxime des débats est applicable (<ref-law>), il incombe aux parties, et non au juge, de rassembler les faits du procès. Les parties doivent alléguer les faits sur lesquels elles fondent leurs prétentions (fardeau de l'allégation subjectif), produire les moyens de preuve qui s'y rapportent (<ref-law>) et contester les faits allégués par la partie adverse, le juge ne devant administrer les moyens de preuve que sur les faits pertinents et contestés (<ref-law>) (<ref-ruling> consid. 5.1 p. 522). A cet égard, il importe peu que les faits aient été allégués par le demandeur ou par le défendeur puisqu'il suffit que les faits fassent partie du cadre du procès pour que le juge puisse en tenir compte (<ref-ruling> consid. 4.1 p. 2; arrêt 4A_288/2018 du 29 janvier 2019 consid. 3.1.2 et les arrêts cités).
Le demandeur, qui supporte en principe le fardeau de l'allégation objectif et le fardeau de la preuve (<ref-law>), en ce sens qu'il supporte les conséquences de l'absence d'allégation de ce fait (fardeau de l'allégation objectif), respectivement celles de l'absence de preuve de celui-ci, a évidemment toujours intérêt à l'alléguer lui-même, ainsi qu'à indiquer au juge les moyens propres à l'établir (<ref-ruling> consid. 4.1 p. 2; arrêt 4A_288/2018, précité, consid. 3.1.2).
3.3.2. Selon les <ref-ruling> consid. 2a et 118 II 142 consid. 3a, le maître de l'ouvrage (ou l'acheteur) qui émet des prétentions en garantie doit prouver qu'il a donné l'avis des défauts en temps utile, mais il incombe à l'entrepreneur (ou au vendeur) d'alléguer l'acceptation de l'ouvrage découlant de la tardiveté de l'avis des défauts. Le juge doit d'autant moins vérifier d'office la ponctualité de l'avis des défauts que ce point dépend fortement des circonstances d'espèce et des pratiques commerciales. Cette jurisprudence implique une séparation des fardeaux de l'allégation et de la preuve. Après avoir, dans un premier temps, exprimé des doutes sur cette " séparation inusuelle " des fardeaux de l'allégation (objectif) et de la preuve, tout en laissant la question en suspens, le Tribunal fédéral a finalement maintenu sa jurisprudence publiée aux <ref-ruling> et 118 II 142 dans plusieurs arrêts (cf. notamment les arrêts 4A_288/2018, précité, consid. 6.1.2; 4A_388/2017 du 22 février 2018 consid. 5.1; arrêt 4A_405/2017 du 30 novembre 2017 consid. 3.3 et les arrêts cités; arrêt 4A_28/2017 du 28 juin 2017 consid. 4). L'entrepreneur (ou le vendeur) supporte donc le fardeau de l'allégation objectif de l'absence d'avis des défauts ou de la tardiveté de celui-ci et le maître de l'ouvrage (ou l'acheteur) supporte le fardeau de la preuve de l'un ou l'autre de ces faits (arrêt 4A_288/2018, précité, consid. 6.1.2).
3.4. En l'espèce, l'autorité de première instance a relevé qu'il ne ressortait pas du dossier que le demandeur ait dûment informé la locataire de l'existence de défauts. Le bailleur n'avait en particulier ni allégué ni a fortiori démontré avoir transmis à la locataire le constat établi par l'huissier judiciaire listant les défauts allégués. La locataire n'avait en outre pas pris part à un état des lieux de sortie au cours duquel d'éventuels défauts auraient pu lui être signalés. Les premières juges ont ainsi constaté que le bailleur n'avait pas avisé la locataire des défauts, raison pour laquelle il devait être débouté de ses conclusions en remboursement des travaux de remise en état.
Dans son mémoire d'appel (p. 25), le bailleur a indiqué que " le jugement entrepris retient que le bailleur n'a pas procédé à l'avis des défauts ". Il n'a pas contesté cette constatation mais a fait valoir que la locataire ne s'était pas présentée à l'état des lieux de sortie empêchant ainsi le bailleur de l'aviser des défauts. En agissant de la sorte, la locataire avait ainsi renoncé à l'avis des défauts.
Dans l'arrêt attaqué, la cour cantonale, après avoir correctement fait état de l'argumentation développée par le bailleur dans son mémoire d'appel, a estimé que la locataire n'avait pas renoncé à recevoir un avis des défauts. L'appel devait dès lors être rejeté.
3.5. Devant le Tribunal fédéral, le recourant plaide, pour la première fois, que les autorités genevoises auraient violé les règles sur le fardeau de l'allégation en retenant qu'aucun avis des défauts n'avait été donné en l'espèce, alors même que l'intimée n'avait pas allégué l'absence d'avis des défauts.
3.5.1. En vertu du principe de l'épuisement des griefs, tant sur le plan procédural que sur le plan matériel, le recourant ne peut pas invoquer des moyens de fait qu'il n'a pas soulevés en temps utile devant l'autorité cantonale, pour obtenir un résultat plus favorable en procédure de recours (<ref-law>; <ref-ruling> consid. 1.3; <ref-ruling> consid. 3; arrêt 4A_120/2019 du 20 janvier 2020 consid. 1.2). De tels moyens sont en effet nouveaux et, partant, irrecevables (<ref-law>).
3.5.2. En l'occurrence, les juges cantonaux ont repris la constatation faite par les premières juges selon laquelle il n'y avait pas eu d'avis des défauts en l'espèce, dès lors que le recourant n'avait pas contesté devant la cour cantonale ladite constatation. L'intéressé a du reste lui-même relevé, dans son écriture d'appel, que l'autorité de première instance avait fait pareille constatation. Il n'a pas cherché à la contester. Il a au contraire tenté de justifier le fait qu'il n'avait pas pu signaler les défauts à la locataire, en soutenant notamment que celle-ci, par son attitude, avait renoncé à recevoir un avis des défauts. Aussi, le recourant ne peut-il pas venir reprocher, après coup, à la cour cantonale d'avoir retenu, à l'instar des premières juges, qu'aucun avis des défauts n'avait été effectué, alors qu'il n'a pas contesté cette constatation de fait devant l'autorité précédente. En agissant de la sorte, il fait en effet valoir un moyen de fait nouveau et, partant, irrecevable (<ref-law>).
3.6. Pour le reste, le recourant ne soulève aucun autre moyen à l'encontre de l'arrêt attaqué.
4.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité.
Le recourant, qui succombe, devra payer les frais judiciaires (<ref-law>) et verser des dépens à l'intimée (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimée une indemnité de 2'500 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des baux et loyers de la Cour de justice du canton de Genève.
Lausanne, le 23 février 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
Le Greffier : O. Carruzzo