Faits :
A.
A.a. A._, architecte, est propriétaire d'un bien-fonds à..., sur lequel est érigé un bâtiment d'habitation qu'il a souhaité rénover et transformer. A cette fin, il a conclu le 18 juin 2013 trois contrats distincts avec l'entreprise de plâtrerie et peinture B._ SA (l'entrepreneur), le premier portant sur 23'151 fr.70 de travaux de papier peint, le deuxième sur 32'847 fr.35 de travaux de plâtrerie et le troisième sur 41'194 fr.50 de travaux de peinture, soit un montant total de 97'193 fr.55. Ces contrats renvoient à la norme SIA 118 et aux autres normes SIA "concernant directement les travaux à exécuter". Ils prévoient qu'"aucun travail non commandé et n'ayant fait l'objet d'un devis accepté par la direction des travaux (DT) et le maître de l'ouvrage (MO) ne pourra être pris en considération".
A.b. En cours d'exécution, des travaux supplémentaires ont été effectués par l'entrepreneur.
A.c. Les relations entre les parties ont pris fin abruptement en décembre 2013, alors que les travaux n'étaient pas complètement terminés.
A.d. Le 20 janvier 2014, l'entrepreneur a adressé trois factures finales au maître de l'ouvrage. La première, relative à la fourniture et la pose de papier peint, laissait apparaître un crédit de 2'621 fr.60 en faveur du maître de l'ouvrage, compte tenu du versement d'un acompte de 12'000 fr. La deuxième, portant sur les travaux de plâtrerie, s'élevait à 11'312 fr.60 après déduction de trois acomptes de 19'000 fr., 30'000 fr. et 21'332 fr. La troisième, relative à des travaux de peinture, présentait un solde de 28'829 fr.20, après déduction d'un acompte de 4'000 fr. Le montant réclamé au maître de l'ouvrage s'élevait ainsi à 37'520 fr.20 au total.
B.
B.a. Sur requête de B._ SA, le Tribunal civil du Littoral et du Val-de-Travers a, par décision du 19 mars 2014, ordonné l'inscription provisoire d'une hypothèque légale des artisans et entrepreneurs à concurrence de 37'520 fr.20 plus intérêts sur le bien-fonds susmentionné, un délai de 90 jours étant fixé à la société requérante pour ouvrir action au fond faute de quoi l'inscription provisoire serait caduque.
B.b. Le 13 juin 2014, B._ SA a saisi le Tribunal civil du Littoral et du Val-de-Travers d'une demande dirigée contre A._, concluant à ce qu'il soit condamné à lui payer la somme de 58'852 fr.20 plus intérêts, à ce que soit ordonnée l'inscription définitive de l'hypothèque légale des artisans et entrepreneurs sur le bien-fonds susmentionné à concurrence de 37'520 fr.20 plus intérêts et à ce que le Conservateur du Registre foncier de l'arrondissement concerné soit chargé de procéder à ladite inscription. La demanderesse a allégué qu'elle avait déduit par erreur dans ses décomptes un dernier acompte de 21'332 fr. que le défendeur n'avait en réalité pas payé, ce qui expliquait la différence entre les montants en question.
La procédure ayant été dans un premier temps limitée à la recevabilité de la première conclusion de la demande, le Tribunal civil a, par décision du 26 novembre 2014, déclaré cette conclusion irrecevable, faute pour la demanderesse d'avoir tenté préalablement la conciliation.
Le 22 avril 2015, B._ SA a introduit une requête de conciliation à l'encontre de A._, en concluant à la condamnation de ce dernier à lui payer la somme de 58'852 fr.20, majorée d'intérêts moratoires. L'autorisation de procéder a été délivrée le 9 juin 2015.
Le 17 juin 2015, B._ SA a déposé une demande en paiement à l'encontre du défendeur, laquelle portait les conclusions en paiement mentionnées au paragraphe précédent.
Le 19 juin 2015, le Tribunal civil a joint les causes.
Le 19 octobre 2016, il a confié à C._, architecte, la réalisation d'une expertise. Ce dernier a remis son rapport le 23 janvier 2017. Le défendeur a posé des questions complémentaires le 7 novembre 2017, sur lesquelles l'expert s'est prononcé dans un rapport complémentaire qu'il a déposé le jour de son audition devant le tribunal, le 19 janvier 2018.
Des témoins ont été entendus et le défendeur a été interrogé.
Par jugement du 26 août 2020, le Tribunal civil a condamné le défendeur à payer à la demanderesse la somme de 48'831 fr.80 plus intérêts, ordonné au profit de la demanderesse l'inscription définitive d'une hypothèque légale des artisans et entrepreneurs de 37'520 fr.20 plus intérêts au feuillet du bien-fonds en question et rejeté toutes autres ou plus amples conclusions.
Par arrêt du 16 décembre 2020, la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel a rejeté l'appel du défendeur. Les motifs qui l'ont guidée seront exposés, dans la mesure utile, dans les considérants en droit du présent arrêt.
C.
A._ dépose un recours en matière civile. Il conclut principalement à l'annulation de l'arrêt cantonal, au rejet de la demande et à ce que le Conservateur du registre foncier soit chargé de procéder à la radiation de l'inscription provisoire sur son bien-fonds.
Dans sa réponse, B._ SA propose le rejet du recours.
La cour cantonale se réfère aux considérants de son arrêt.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière civile (<ref-law>) par le tribunal supérieur institué comme autorité cantonale de dernière instance, lequel a statué sur recours (<ref-law>). La cause atteint la valeur litigieuse de 30'000 fr. ouvrant le recours en matière civile (<ref-law>). Le recourant, qui a succombé dans ses conclusions libératoires, a la qualité pour recourir (<ref-law>). Déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi, le recours est en principe recevable, sous réserve de l'examen des griefs particuliers.
2.
2.1. Le recours en matière civile peut être exercé pour violation du droit fédéral (<ref-law>), y compris le droit constitutionnel (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4). Le Tribunal fédéral applique le droit d'office (<ref-law>). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes. Il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.4; <ref-ruling> consid. 2, 115 consid. 2; <ref-ruling> consid. 1.3). En revanche, il n'est pas limité par les arguments soulevés dans le recours, ni par la motivation développée par l'autorité précédente; il peut ainsi rejeter un recours pour d'autres motifs que ceux retenus dans la décision attaquée (<ref-ruling> consid. 1.4). Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral n'examine la violation d'un droit constitutionnel que si le grief a été invoqué et motivé de façon détaillée (<ref-law>; <ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4; <ref-ruling> consid. 2.2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). "Manifestement inexactes" signifie ici "arbitraires" (<ref-ruling> consid. 2.2; <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi les conditions d'une exception au sens de l'<ref-law> seraient réalisées (<ref-ruling> consid. 1.3.1 et les références). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.1; <ref-ruling> consid. 2.4; <ref-ruling> consid. 2.3). Le Tribunal fédéral se montre réservé en matière de constatations de fait et d'appréciation des preuves, vu le large pouvoir qu'il reconnaît en ce domaine aux autorités cantonales. Il n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte des preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 2.3; <ref-ruling> consid. 4.2; <ref-ruling> consid. 4.2; <ref-ruling> consid. 4.3; <ref-ruling> consid. 2.1).
Si elle souhaite obtenir un complètement de l'état de fait, la partie recourante doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes en conformité avec les règles de procédure les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (ATF <ref-ruling> consid. 2). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
3.
Les parties étaient liées par des contrats d'entreprise aux termes desquels l'entrepreneur s'est engagé à exécuter des travaux de papier peint, de plâtrerie et de peinture à des prix unitaires. Le litige porte sur les quantités facturées par l'entrepreneur ainsi que sur la rémunération de travaux qui n'étaient pas prévus dans les contrats. Les reproches que le recourant adresse à l'arrêt cantonal sont de trois ordres: constatation arbitraire des faits, respectivement appréciation arbitraire des preuves; violation des règles régissant le fardeau de la preuve et de la maxime des débats en lien avec la quantité de papier peint facturée par l'entrepreneur; violation de l'<ref-law>, en lien avec la rémunération des travaux supplémentaires.
4.
Sous l'angle de la constatation arbitraire des faits et de l'appréciation arbitraire des preuves, le recourant formule une série de griefs qui se focalisent, pour l'essentiel, sur le témoignage de D._ auquel il attribue la réalisation d'un bon nombre de travaux qui ont été facturés par l'entrepreneur.
4.1. La cour cantonale a retenu que le défendeur avait uniquement allégué que D._ était l'auteur de deux travaux parmi ceux pour lesquels l'entrepreneur prétendait à une rémunération: le bouchardage de la peinture blanche et la pose des linteaux Stahlton. Et elle a jugé que ces allégués n'étaient pas prouvés puisque, dans d'autres allégués concernant le même objet, le défendeur n'en contestait que le prix, ce qui était contradictoire.
4.1.1. Le recourant est d'avis que les travaux réalisés par D._ étaient bien plus étendus, puisque - à l'en croire - ils comprendraient le lissage, l'arrachage de papiers peints des murs, la petite maçonnerie, les ouvertures entre le salon et la cuisine, la pose de couvertes à la cuisine, le redressement et du masticage des murs, la peinture du plafond, le montage du placoplâtre sous la toiture, la peinture de la menuiserie, la peinture des combles, du sous-sol et de l'extérieur du bâtiment, le barreaudage de la main courante et la pose de calicots. Il considère toutefois qu'il n'avait pas à être plus explicite dans ses écritures car, dès lors que son adverse partie alléguait que le prix d'un ouvrage lui était dû, elle alléguait implicitement qu'elle l'avait réalisé, ce qui lui permettait d'apporter la preuve du contraire. A partir du moment où le témoin D._ avait indiqué lors de son audition avoir réalisé certains travaux, il appartiendrait de toute manière au tribunal de prendre ces éléments en cause, indépendamment des allégués lacunaires du défendeur.
4.1.2. Le recourant ne peut se plaindre de ce qu'un allégué qu'il aurait formulé n'aurait pas été retenu alors même qu'il était prouvé, puisqu'il ne conteste pas avoir uniquement allégué que D._ avait réalisé les deux travaux évoqués par la cour cantonale. Les motifs pour lesquels celle-ci a écarté les allégués en cause résistent par ailleurs à tout grief d'arbitraire. Quant aux déclarations du témoin D._ lors de son audition devant le Tribunal civil, c'est en vain que le recourant fait valoir qu'il était arbitraire de ne point les prendre en considération, indépendamment des allégués qu'il avait formulés: en se référant aux lignes 6 à 40 de la pièce 123 du dossier cantonal, qui consiste dans le procès-verbal de cette audition, le recourant entend faire la démonstration de l'exécution de ces travaux par le prénommé. Cela étant, il ne fournit aucune pierre de rosette pour en tirer une conclusion quelconque s'agissant des travaux facturés par l'intimée. A titre d'exemple, si le témoin indique "Et à la fin, on a aussi fait de la plâtrerie et de la peinture. Plutôt que de la plâtrerie, je dirais qu'on a fait le lissage", on peut à la rigueur en déduire qu'il s'est occupé du "lissage", comme le recourant l'affirme dans son mémoire. Mais sur quelle surface des locaux précisément? Et en quoi ceci se recouperait-il - ou non - avec les travaux facturés par l'entrepreneur? Il y a là tout un champ d'hypothèses que le recourant laisse ouvertes. Que faut-il par ailleurs entendre par "petite maçonnerie", que le témoin déclare avoir à son actif? Ceci s'apparente-t-il avec l'un ou l'autre travail dont l'entrepreneur s'est chargé et qu'il a facturé ? Voilà qui est totalement obscur. Et il n'appartient pas au Tribunal fédéral de procéder à un recoupement hasardeux entre les factures de l'un et les déclarations de l'autre pour en arriver à des faits qu'il aurait été, soit dit en passant, si simple au défendeur d'alléguer en bonne et due forme. En tous les cas, la démonstration que le recourant entreprend de l'arbitraire dans la constatation des faits se solde par un échec.
4.2. Au demeurant, la cour cantonale a relativisé les déclarations du témoin D._ pour une autre raison, indépendante de ce qui précède. En effet, il existait une relation d'affaires entre le recourant et lui. Cette réflexion suscite toutefois également un grief du recourant qui y voit, là aussi, l'empreinte de l'arbitraire. Prenant appui sur les déclarations du témoin précité, le recourant affirme qu'il n'aurait pas eu de contact avec lui depuis fort longtemps et certainement pas en lien avec cette affaire. Dans leurs rapports, des gérances fonctionneraient comme intermédiaires. Et ce témoin n'aurait travaillé pour le recourant que sur deux chantiers, dont celui-ci.
A supposer qu'ils soient avérés, ces éléments ne permettent toutefois pas de considérer que l'appréciation de la cour cantonale serait arbitraire. D'autant que le témoin en question a déclaré lors de son audition qu'il était " souvent en relations d'affaires avec lui (i.e. le défendeur", ce qui donne suffisamment d'assise à cette appréciation.
4.3. Le recourant soutient également que l'expertise judiciaire était dépourvue de toute force probante et reproche à la cour cantonale d'avoir arbitrairement retenu ce moyen de preuve, pour une série de motifs auxquels D._ n'est, à nouveau, pas étranger.
En effet, le recourant estime que l'expert aurait dû tenir compte de l'intervention du prénommé sur le chantier; il lui reproche aussi d'avoir présumé que l'entrepreneur avait réalisé les prestations facturées, sur le seul fondement de cette facturation. Cependant, comme la cour cantonale l'a déjà souligné, l'expert n'avait nulle raison de retenir que l'un ou l'autre travail avait été exécuté par D._. Les juges précédents ne se sont d'ailleurs pas fondés sur l'expertise en cause pour savoir qui - de l'entrepreneur ou de D._ - avait exécuté les différents travaux, mais sur les contradictions qui émaillent les quelques allégués corrélatifs du défendeur et dont il a déjà été question ci-avant (consid. 4.1).
Le recourant estime encore que l'expert aurait fait preuve de partialité, en se référant de manière «bien plus (...) systématique» aux déclarations de son adverse partie et en se contentant des plans remis par celle-ci. Sa démonstration n'est pas convaincante.
Il lui reproche d'avoir parfois recouru à des moyennes arithmétiques entre les prétentions de l'entrepreneur et les chiffres qu'il avait lui-même admis. Cela étant, la cour cantonale a déjà observé qu'il s'agissait là de propositions sans caractère contraignant, argument auquel le recourant n'oppose aucun motif convaincant.
Quant à la question des prix en régie, que l'expert aurait prétendument appliqués à tort, elle fait l'objet d'un autre grief du recourant qui sera discuté plus loin, pour être écarté.
Le recourant échoue dès lors à démontrer un quelconque arbitraire dans la constatation des faits ou l'appréciation des preuves.
5.
5.1. Le recourant se plaint d'une violation de l'<ref-law> et de la maxime des débats (<ref-law>). La demanderesse aurait allégué qu'une surface de 513,9 m2 de papier peint avait été posée et il aurait, en sa qualité de défendeur, contesté cette quantité. Il n'aurait pas eu à faire davantage, c'est-à-dire détailler sa contestation. En revanche, il eût appartenu à la demanderesse de préciser son allégation, en spécifiant quelles surfaces précisément étaient recouvertes, soit notamment celles situées derrière les armoires et les plinthes. Ce serait l'entrepreneur, et non le maître d'ouvrage, qui supporterait le fardeau de la preuve de cet élément de fait. Par le biais d'une présomption de fait, la cour cantonale aurait inversé les rôles. Qui plus est, elle se serait laissée convaincre au degré de la simple vraisemblance, ce qui était insuffisant.
5.2. La cour cantonale a considéré, sur la base de deux motifs indépendants, que l'entrepreneur pouvait prétendre à la rémunération, calculée à des prix unitaires, au titre du papier peint posé derrière les armoires et les plinthes.
D'une part, la demanderesse avait allégué et déposé trois factures datées du 20 janvier 2014; l'une d'entre elles concernait précisément le nombre de mètres carrés de papier peint fourni et posé (513,9 m2 au total). Un calcul détaillé y figurait, chambre par chambre et étage par étage. Dans sa réponse, le défendeur avait allégué, s'agissant du papier peint, que sa quantité (m2) ne correspondait pas à ce qui avait réellement été posé, cette erreur se répercutant sur les fournitures. Il n'a toutefois jamais indiqué pour quelle raison les quantités détaillées par la demanderesse étaient erronées, en alléguant plus particulièrement qu'il n'y avait pas de papier peint derrière les plinthes et les armoires; il ne s'est pas non plus déterminé à ce sujet dans sa duplique. Le défendeur n'avait ainsi pas motivé suffisamment sa contestation sur ce point.
D'autre part, si l'expert n'était certes pas allé regarder derrière les armoires pour voir si du papier peint s'y trouvait, ceci s'expliquait par le fait qu'il eût fallu les démonter, ce qui aurait engendré des frais disproportionnés. Nonobstant, ledit expert avait indiqué que la pose du papier peint (ingrain) avait été effectuée avant la pose des armoires et des plinthes, comme c'était habituellement le cas. Il était ainsi vraisemblable que cette pose soit intervenue. Selon la cour cantonale, il s'agissait là d'un usage et il eût appartenu au défendeur - architecte de profession et à même de connaître cet usage - de démontrer qu'il avait décidé de procéder différemment dans le cas d'espèce. Il n'en avait rien fait.
5.3. Le recourant dispute la cour cantonale sur le terrain de la procédure, mais l'autre motif évoqué par l'autorité précédente suffit à sceller le sort de ce pan du litige. Dans un rapport complémentaire figurant au dossier cantonal, l'expert a répondu aux questions du mandataire du défendeur (pièce 108 du dossier cantonal). A la question de savoir s'il avait constaté de visu que du papier peint avait été posé derrière les armoires et les plinthes, il a apporté les éclaircissements suivants (R. 1.6 p. 2) : "Lors des métrés contradictoires effectués sur place, (le défendeur) a prétendu que les armoires avaient été posées avant la pose du papier peint et que par conséquent l'affirmation de (l'entrepreneur) disant qu'il avait posé du papier peint derrière les armoires était fausse. En consultant les rapports de chantier, j'ai constaté que la pose des armoires avait été faite après la pose du papier peint. Voir mon rapport du 23 01 2017 sous chiffre 5.1. En conséquence, j'ai admis que les dires de (l'entrepreneur) étaient vraisemblables; ceci d'autant plus que c'est habituellement le cas dans la pose du papier peint. Pour constater si le papier peint a réellement été posé derrière les armoires, il faudrait démonter celles-ci. Ceci entraînerait des frais qui ne me semblent pas être en relation avec le coût du papier peint." (complément d'office sur la base du dossier). La cour cantonale avait dès lors toute raison de se fonder sur cet avis de l'expert puisqu'il reposait non seulement sur un usage professionnel, mais également sur les rapports de chantier. Peu importe que l'expert n'ait pas fait démonter les armoires et les plinthes pour vérifier derrière chacune d'entre elles que le papier peint avait été posé, car ceci n'aurait fait que confirmer une évidence. Quant au terme "vraisemblable" évoqué par l'expert dans son rapport d'expertise ainsi que dans le rapport complémentaire cité ci-dessus, il ne signifie pas que le juge se serait laissé convaincre à un degré de preuve correspondant à la simple vraisemblance.
Le grief tenant à la méconnaissance de l'<ref-law> tombe à faux et, pour le surplus, les autres griefs peuvent demeurer indécis, dès lors que les trancher dans un sens ou dans un autre ne changerait rien au sort de ce pan du litige.
6.
En dernier lieu, le recourant se plaint d'une violation de l'<ref-law>. L'entrepreneur prétendrait à une rémunération pour des travaux supplémentaires qui n'auraient pas été commandés, ne revêtiraient aucune urgence, ne serviraient pas à la prévention d'un quelconque danger, se situeraient hors du cadre contractuel et ne pourraient donner lieu à une quelconque rémunération. La cour cantonale se serait fondée sur le fait que le recourant n'avait pas contesté les travaux que l'entrepreneur réalisait sur le chantier ainsi que les bons de régie qu'il lui avait adressés pour considérer, selon le principe de la confiance, qu'il acceptait les travaux en question et devait la rémunération correspondante. Or, toute modification du contrat devrait respecter la forme écrite selon la volonté des parties retranscrite dans l'accord initial.
6.1. La cour cantonale a constaté que des travaux supplémentaires avaient été effectués par rapport à ceux prévus dans les contrats du 18 juin 2013. Entre le 22 juillet 2013 et le 16 août 2013, le défendeur avait signé quatre bons de régie pour ces travaux. Il avait également reçu de l'entrepreneur, le 30 juillet 2013, un courrier «concernant la régie en cours» par lequel il l'informait avoir décidé de lui envoyer tous les jours un rapport concernant les travaux de régie, ceci pour son information et le suivi des travaux. Le défendeur n'avait pas réagi à ces envois. En sa qualité d'architecte, il organisait les séances de chantier sur site programmées à intervalles réguliers et y assistait personnellement. Il exerçait une pression sur les différents corps de métier en rediscutant systématiquement les prix, en posant des exigences élevées et en retenant le paiement de soldes de factures. Des travaux urgents avaient régulièrement été évoqués et demandés par le défendeur. Ce dernier avait nécessairement connaissance des travaux supplémentaires querellés, soit via les rapports journaliers de la régie en cours envoyés par l'entrepreneur en temps réel, soit sur place lors des séances de chantier. A quoi s'ajoutait qu'il ne contestait pas la qualité des travaux exécutés, qualité que l'expert ne remettait pas non plus en cause. La cour cantonale en a conclu qu'au regard du principe de la bonne foi, et si tant est qu'aucun accord oral ou écrit (signature des bons de régie) n'avait été conclu, le défendeur avait tacitement accepté ces travaux supplémentaires; s'il en avait été autrement, il s'y serait immédiatement opposé. Certes, la facturation avait été effectuée en régie et non selon la méthode des prix unitaires. Cela étant, le défendeur avait signé les bons de régie et n'avait pas manifesté de désaccord quant à cette façon de faire.
6.2. Lorsque les parties ont fourni et accepté sans réserve des prestations contractuelles malgré l'inobservation d'une forme qu'elles avaient réservée, il faut considérer qu'elles y ont renoncé (<ref-ruling> consid. 1; arrêts 4A_431/2019 du 27 février 2020 consid. 5.3; 4A_416/2012 du 21 novembre 2012 consid. 3.3; 4C.362/1994 du 28 mars 1995 consid. 3b/cc).
6.3. Que les parties aient, en l'espèce, convenu dans leurs contrats du 18 juin 2013 (cf. supra let. Aa) qu'aucun travail non commandé et n'ayant fait l'objet d'un devis accepté par le maître de l'ouvrage ne serait pris en considération, ne signifie pas qu'elles ne pourraient pas y renoncer dans un deuxième temps, d'entente entre elles. C'est précisément la conclusion à laquelle la cour cantonale est parvenue par l'entremise d'une interprétation objective des comportements respectifs des parties, dont le recourant ne prétend pas qu'ils auraient été constatés arbitrairement.
Certes, la cour cantonale a également abouti à la conclusion que les parties s'étaient entendues pour que ces travaux supplémentaires soient rémunérés selon des prix en régie (rémunération effective d'après la dépense). Ce alors que les contrats du 18 juin 2013 prévoyaient des prix unitaires (rémunération forfaitaire; sur le sujet, <ref-ruling> consid. 3b). Mais on ne distingue rien dans son raisonnement qui trahisse la volonté que les parties avaient exprimée dans leur accord initial: elles ont tout simplement décidé d'en changer pour ce qui concernait les travaux n'émargeant pas à ces contrats et le recourant est malvenu de prétendre que son comportement devrait être interprété comme de la résistance passive puisqu'il a même signé les bons de régie (sur cette notion, cf. arrêt 4A_458/2016 du 29 mars 2017 consid. 7.3.2).
Le Tribunal fédéral ne décèle dès lors aucune violation de l'<ref-law> ou d'une autre disposition légale d'ailleurs.
7.
Sur le vu de ce qui précède, le recours doit être rejeté.
Les frais judiciaires seront mis à la charge du recourant qui succombe (<ref-law>). Ce dernier versera des dépens à l'intimée (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimée une indemnité de 3'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux mandataires des parties et à la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 31 août 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Godat Zimmermann