Faits :
A.
Le 23 août 2008, la société B._ Sàrl (ci-après: l'entreprise de plâtrerie, ou l'entreprise) a établi un devis pour des travaux de réfection en plâtrerie et en peinture à effectuer au rez-de-chaussée et à l'étage de la villa propriété des époux X.A._ et Y.A._. Ce devis se montait à 24'437 fr. 55. Il a été suivi d'un devis complémentaire de 4'184 fr. 45.
Les époux A._ (ci-après: les maîtres d'ouvrage, ou les maîtres) ont accepté ces deux devis le 13 septembre 2008.
Les travaux ont débuté le 15 septembre 2008. Ils se sont déroulés en deux étapes, soit tout d'abord au rez-de-chaussée jusque dans le courant du mois d'octobre 2008, puis à l'étage de la villa dès la fin du même mois.
Le 29 octobre 2008, l'entreprise a adressé aux maîtres une facture de 3'941 fr. 05 relative aux travaux du rez-de-chaussée.
A la fin du mois d'octobre 2008, un charpentier est intervenu de façon non planifiée à l'étage de la villa, pour réaliser des plafonds en Fermacell plutôt qu'en plaques de plâtre comme prévu dans le devis du 23 août 2008. Cette intervention a entraîné l'interruption des travaux à l'étage de la villa.
Le 17 novembre 2008, l'entreprise a envoyé aux maîtres d'ouvrage une nouvelle facture de 18'859 fr. 25 afférente elle aussi aux travaux effectués au rez-de-chaussée (mis à part 1'620 fr. concernant une chambre au premier étage). Les intéressés ont payé les deux factures, après avoir refusé dans un premier temps.
En novembre 2008, l'entreprise a effectué des retouches au rez-de-chaussée.
Le 21 janvier 2009,elle a établi un nouveau devis concernant des travaux de réfection de peinture au premier étage, d'un montant de 14'325 fr. 75. Les maîtres ont accepté et signé celui-ci, en mentionnant une liste de retouches à effectuer au rez-de-chaussée de la villa.
L'entreprise a achevé les travaux à l'étage le 12 février 2009. Le 14 février 2009, elle a adressé aux maîtres une facture de 15'429 fr. 60 relative à ces travaux-là, conformément au devis du 21 janvier 2009.
Les maîtres d'ouvrage ont refusé de payer. Dans un courrier du 16 février 2009, ils se sont plaints de graves problèmes de qualité en reprochant notamment à l'intéressée de ne pas avoir protégé les sols lorsqu'elle avait effectué les retouches au rez-de-chaussée, occasionnant ainsi des dégâts. Ils ont dressé une liste recensant onze malfaçons constatées au premier étage. Le 25 mars 2009, ils ont transmis à l'entreprise un constat des défauts établi par un peintre, en l'invitant à y remédier dans un délai de dix jours.
Le 19 août 2009 et 13 janvier 2010, les maîtres ont encore dénoncé d'autres défauts, en impartissant à chaque fois à l'entreprise un délai pour procéder aux réparations nécessaires.
B.
B.a. L'entreprise de plâtrerie a obtenu l'inscription provisoire d'une hypothèque légale des artisans et entrepreneurs grevant l'immeuble des maîtres d'ouvrage.
Par demande du 2 juillet 2009, elle a conclu à l'inscription définitive d'une telle hypothèque pour un montant de 14'325 fr. 75 plus intérêts. Elle a en outre requis le versement de 15'429 fr. 60 plus intérêts.
Les maîtres ont conclu au rejet de cette demande. A titre reconventionnel, ils ontexigé de l'entreprise demanderesse le paiement de 16'342 fr. 85 plus intérêts.
Dans le cadre de cette procédure encore régie par l'ancien droit cantonal, deux expertises et un complément d'expertise établi par un troisième expert ont été effectués à propos des défauts entachant les travaux.
En juin 2016, les maîtres ont vainement sollicité l'introduction d'allégués supplémentaires et d'un rapport d'expertise privée.
Par jugement du 4 juillet 2018, le Président du Tribunal civil de l'arrondissement de l'Est vaudois a ordonné l' inscription définitive de l' hypothèque légale pour un montant de 14'325 fr. 75 plus intérêts et a condamné les maîtres, solidairement entre eux, à verser à l'entreprise demanderesse la somme de 15'429 fr. 60 plus intérêts. Le premier juge a retenu que l'avis des défauts du 16 février 2009, au même titre que ceux des 19 août 2009 et 13 janvier 2010, étaient tardifs en ce qui concernait les travaux et retouches réalisés au rez-de-chaussée, ceux-ci s'étant achevés respectivement en octobre 2008 et novembre 2008. Subsistaient les travaux effectués à l'étage. Certes, les trois expertises judiciaires faisaient mention de certains défauts - qui étaient au demeurant mineurs, pas tous imputables à l'entreprise et susceptibles d'être éliminés. Toutefois, l'estimation des coûts de réfection était effectuée en bloc, sans distinguer précisément entre les travaux du rez-de-chaussée et ceux de l'étage. Au surplus, les maîtres appuyaient leur prétention en paiement sur un devis établi à leur demande, qui allait bien au-delà de l'admissible s'agissant de corriger des défauts mineurs et quelques réparations. Les maîtres ayant échoué à rapporter la preuve qui leur incombait, l'entreprise avait droit au paiement de l'entier des travaux, à hauteur de 15'429 fr. 60. Les conclusions reconventionnelles des maîtres devaient être rejetées.
B.b. Statuant le 16 mai 2019 sous l'égide du CPC, le Tribunal cantonal vaudois a rejeté l'appel des maîtres, dans la mesure où il était recevable. Ses motifs seront évoqués dans les considérants en droit du présent arrêt.
C.
Les maîtres forment recours en matière civile. Ils concluent principalement à l'annulation de l'arrêt cantonal et au renvoi de la cause à l'instance inférieure pour nouvelle décision après mise en oeuvre d'une expertise complémentaire. Subsidiairement, ils requièrent la radiation de l'hypothèque légale inscrite provisoirement et le paiement de 23'797 fr. 35, plus subsidiairement de 16'342 fr. 85.
La demande d'effet suspensif formulée dans le recours a été rejetée par ordonnance présidentielle du 16 juillet 2019.
L'autorité précédente s'est référée à son arrêt.
L'entreprise intimée a fait savoir qu'elle renonçait à déposer une réponse; elle s'est limitée à émettre de très brèves remarques en renvoyant pour le surplus aux décisions cantonales.
Les recourants ont déposé une réplique spontanée et persisté dans leurs conclusions, sans susciter de duplique de l'intimée.

Considérant en droit :
1.
1.1. L'arrêt attaqué est une décision finale (<ref-law>) rendue en matière civile (<ref-law>) par un tribunal supérieur désigné comme autorité cantonale de dernière instance, lequel a statué sur recours (art. 75 et 114 LTF).
1.2. La notification dudit jugement étant intervenue le 21 mai 2019, le délai de recours arrivait à échéance le 20 juin 2019 (<ref-law> et <ref-law>). Le pli contenant le présent recours a été adressé en recommandé; le justificatif de distribution atteste qu'il a bel et bien été posté à cette dernière date.
L'avocat des recourants a produit une procuration justifiant de ses pouvoirs, par courrier séparé daté du 20 juin 2019 contenu dans une enveloppe revêtue d'un sceau postal du 21 juin 2019. Le 21 juin 2019, il a envoyé une nouvelle missive assortie d'une clé USB comportant une séquence vidéo censée démontrer qu'il avait posté la procuration le 20 juin 2019 à 23 h 15.
En réalité, il importe peu que la procuration ait été envoyée dans le délai de recours ou au-delà, puisqu'il est possible de remédier à cette irrégularité (cf. <ref-law>). Cela étant, on rappellera à toutes fins utiles que pour déjouer la présomption résultant de la date du sceau postal apposé sur le pli contenant un recours, le justiciable doit indiquer spontanément - et avant l'expiration du délai de recours - à quelle date antérieure il a posté son recours, en présentant ses moyens probatoires (arrêt 6B_157/2020 du 7 février 2020 consid. 2.3, rés. in SJ 2020 I 232). En outre, il sied de mettre en garde contre la production de clé USB contenant un enregistrement vidéo du postage du recours (cf. la réserve sur l'admissibilité du procédé dans l'arrêt 1B_337/2019 du 13 mars 2020 consid. 1.2). Se pose en particulier la question de la force probante, dans un domaine où la preuve stricte est de mise (arrêt 6B_1317/2016 du 20 septembre 2017 consid. 3). L'enveloppe contient-elle le mémoire de recours? La séquence filmant la mise sous pli, le dépôt de celui-ci dans la boîte aux lettres et les éléments censés établir la date et l'heure de ce dépôt a-t-elle été tournée sans interruption, et sans utilisation de techniques d'incrustation? Les indicateurs temporels sont-ils fiables? Est-il techniquement possible de discerner d'éventuels montages, et à quel prix? L'autorité de céans n'a pas vocation à entreprendre des investigations complexes sur la problématique du respect des délais, qui exige des principes clairs et des solutions simples. Nul n'est besoin cependant d'approfondir la discussion.
1.3.
1.3.1. S'agissant d'une affaire pécuniaire, le recours en matière civile n'est recevable que si la valeur litigieuse s'élève au moins à 30'000 fr. (<ref-law>) ou, à défaut, si la contestation soulève une question juridique de principe (<ref-law>). La valeur litigieuse est déterminée par les conclusions restées litigieuses devant l'autorité précédente (<ref-law>). Les frais judiciaires et les dépens réclamés comme droits accessoires n'entrent pas en ligne de compte (<ref-law>). Aux termes de l'<ref-law>, le montant d'une demande reconventionnelle et celui de la demande principale ne sont pas additionnés (al. 1). Si les conclusions de la demande principale et de la demande reconventionnelle s'excluent et si l'une de ces demandes n'atteint pas à elle seule la valeur litigieuse minimale, cette demande est quand même réputée atteindre la valeur litigieuse minimale si le recours porte sur les deux demandes (al. 2).
En bref, la recevabilité du recours en matière civile se détermine séparément pour les demandes principale et reconventionnelle, sous réserve de l'attraction prévue à l'alinéa 2 lorsqu'elles s'excluent (cf., mutatis mutandis, POUDRET/SANDOZ-MONOD, Commentaire de la loi fédérale d'organisation judiciaire, 1990, p. 254 n. 2.2 ad art. 47 OJ; sur l'attraction de compétence, cf. <ref-ruling> consid. 2.1; arrêt 4A_364/2008 du 12 décembre 2008 consid. 1.3).
La reconvention est une action introduite par le défendeur contre le demandeur dans le procès pendant. Ce n'est pas un moyen de défense, mais une véritable action qui poursuit un but propre (cf. <ref-ruling> consid. 4.2 p. 716; DENIS TAPPY, in Commentaire romand, 2e éd. 2019, no 3 ad <ref-law>). Des conclusions ayant pour seule fin d'obtenir la libération des prétentions du demandeur ne sont pas reconventionnelles. La reconvention ne doit pas être confondue avec la compensation (<ref-law>), que le défendeur peut invoquer par voie d'exception pour obtenir le rejet de la demande intentée contre lui: en brandissant ce moyen, le défendeur n'introduit pas une nouvelle action avec un effet de litispendance; il entend simplement faire échec à l'action du demandeur (ATF 31 II 529 spéc. p. 535-536; <ref-ruling> consid. 6.5 et 142 III 626 consid. 8.4; TAPPY, op. cit., n° 4 ad <ref-law>; MICHEL HEINZMANN, in Basler Kommentar, 3e éd. 2018, n° 7 ad <ref-law>). Seuls les montants effectivement réclamés entrent en considération, à l'exclusion de ceux invoqués à titre compensatoire (<ref-ruling> consid. 1a p. 398; BERNARD CORBOZ, Le recours en réforme au Tribunal fédéral, SJ 2000 II 27).
1.3.2. En l'occurrence, le montant de la demande principale, d'après les conclusions prises devant l'autorité précédente, est de 15'429 fr. 60 (cf. arrêts 4C.95/2003 du 25 août 2003 consid. 2; 4D_75/2011 du 9 décembre 2011 consid. 1). Elle n'atteint pas la valeur litigieuse minimale pour ouvrir la voie du recours en matière civile. Demeure la question de savoir si la demande reconventionnelle porte sur une somme atteignant 30'000 fr.
A titre reconventionnel, les recourants ont conclu à ce que l'entreprise intimée leur paie 16'342 fr. 85 plus intérêts. A l'allégué 77 de leur réponse, ils ont recensé les "contre-prétentions" dont ils s'estimaient titulaires envers la demanderesse:
"- frais de réfection plâtrerie peinture Fr. 17'478.15;
- nettoyage du sol en ardoise Fr. 1'267.55;
- changement du sol de l'étage Fr. 1'385.70;
- déplacement meubles et rideaux Fr. 2'250. 00;
- montant facturé à tort Fr. 3'941.05;
- moins-values diverses Fr. 5'000. 00;
- intervention de C._ Fr. 450. 00;
soit un total de Fr. 31'772.45 "
Au chiffre 78 de ce même mémoire, ils ont formellement excipé de la compensation, par quoi il faut comprendre la compensation avec la somme objet de la demande. Les recourants soutiennent qu'ils ont conclu au paiement de 31'772 fr. 45. Tel n'est toutefois pas le cas. Dans un allégué de leur réponse, à titre de moyen de défense, ils ont invoqué la compensation (<ref-law>) par voie d'objection à la créance de 15'429 fr. 60 réclamée par la partie demanderesse. Ils ont formellement conclu au paiement de 16'342 fr. 85, montant qui résulte de la soustraction suivante: 31'772.45 - 15'429.60. A titre reconventionnel, ils ont donc réclamé uniquement 16'342 fr. 85. Le principe de disposition les laisse libres de procéder ainsi. Et leurs conclusions sont dépourvues d'ambiguïté à cet égard.
Le montant de la demande reconventionnelle, inférieur à 30'000 fr., n'ouvre pas non plus la voie du recours en matière civile. L'<ref-law> n'est d'aucun secours aux recourants (cf. arrêt précité 4A_364/2008 consid. 1.3 in fine). Enfin, ils ne prétendent - à juste titre - pas que l'affaire soulèverait une question juridique de principe.
Le recours en matière civile s'avère irrecevable.
1.3.3. Partant, seul le recours constitutionnel subsidiaire entre en considération (<ref-law>). Les recourants n'ont pas utilisé cette dénomination. Cela étant, l'intitulé erroné d'un recours ne nuit pas à son auteur, pour autant que les conditions de recevabilité du recours qui aurait dû être interjeté soient réunies (<ref-ruling> consid. 1.1 p. 370; <ref-ruling> consid. 1.2 p. 382).
Comme son nom l'indique, cette voie subsidiaire autorise pour seul grief la violation des droits constitutionnels (<ref-law>). Le Tribunal fédéral n'examine que les griefs expressément soulevés et motivés, conformément au principe d'allégation (art. 106 al. 2 et <ref-law>). Le recourant doit indiquer quel droit constitutionnel a été violé par l'autorité précédente et dans quelle mesure, en présentant une argumentation claire et circonstanciée; des critiques purement appellatoires ne sont pas admissibles (<ref-ruling> consid. 2.4 p. 368; <ref-ruling> consid. 2.2; <ref-ruling> consid. 3.2).
Nombre de griefs articulés par les recourants ne concernent pas les droits constitutionnels - ainsi lorsqu'ils dénoncent une violation des a rt. 363 et 367 CO, de l'<ref-law> ou encore de l'<ref-law>. Le seul usage du terme "arbitraire", parsemé ça et là au gré d'une argumentation d'essence appellatoire, ne suffit pas à ce que le Tribunal fédéral examine une violation de l'art. 9 Cst. (cf. arrêt 4A_632/2009 du 5 janvier 2010 consid. 3.1). Pour obtenir l'examen du grief d'arbitraire dans l'application du droit, la partie recourante doit désigner précisément la norme juridique dont elle critique l'application (ou non-application) et expliquer en quoi la subsomption effectuée conduit à une décision manifestement insoutenable, en contradiction claire avec la situation de fait, violant gravement une norme ou un principe juridique indiscuté, ou heurtant de manière choquante le sentiment de la justice et de l'équité (cf. <ref-ruling> consid. 2a; arrêt 4A_324/2016 du 23 septembre 2016 consid. 4.1.3). Aussi l'autorité de céans ne se prononcera-t-elle en définitive que sur un nombre limité de griefs.
2.
Il est constant que les parties ont été liées par un contrat d'entreprise en vertu duquel l'intimée s'est engagée à réaliser des travaux de plâtrerie et de peinture au rez-de-chaussée et à l'étage de la villa des recourants. La cour cantonale a constaté, à l'instar du premier juge, que les travaux s'étaient déroulés en deux temps: une première série avait été effectuée au rez-de-chaussée, avait pris fin dans le courant du mois d'octobre 2008 et avait fait l'objet de deux factures adressées aux maîtres d'ouvrage les 29 octobre et 17 novembre 2008; des retouches avaient été effectuées en novembre 2008. Une seconde série de travaux avait été accomplie à l'étage pour s'achever le 13 février 2009. Sur la base de ce constat, les juges vaudois ont déduit qu'une première livraison (travaux du rez-de-chaussée) était intervenue en octobre 2008 et une seconde (travaux à l'étage) en février 2009; les avis de défauts signifiés les 16 février 2009, 19 août 2009 et 13 janvier 2010 étaient tardifs dans la mesure où les défauts portaient sur les travaux (et retouches) effectués au rez-de-chaussée. Quant aux travaux réalisés au premier étage, aucun des rapports d'expertise ne permettait de distinguer la moins-value liée aux défauts entachant ceux-ci. Les maîtres, qui en assumaient le fardeau, supportaient dès lors l'échec de la preuve sur ce point.
3.
3.1. Les recourants dénoncent une violation de leur droit d'être entendus garanti par l'art. 29 al. 2 Cst. Alors que leur appel soulevait cette problématique, l'autorité précédente aurait omis de se prononcer sur la portée de l'aveu procédural concédé par l'intimée, laquelle aurait reconnu que les travaux avaient été terminés et livrés à la mi-février 2009. La Cour d'appel aurait au demeurant arbitrairement omis de constater un fait admis.
3.2. De jurisprudence constante, l'obligation de motiver une décision déduite de l'art. 29 al. 2 Cst. n'impose pas de se prononcer sur tous les moyens des parties; l'autorité peut se limiter à ceux qui, sans arbitraire, lui paraissent pertinents (<ref-ruling> consid. 4.2 p. 157). La motivation peut d'ailleurs être implicite et résulter des différents considérants de la décision (<ref-ruling> consid. 3.2.1 p. 564 s.).
3.3. Les recourants ont fait les allégations suivantes: "A la mi-février 2009, les défendeurs n'étaient pas présents lorsque la demanderesse a terminé ses travaux. Ils s'y sont rendus peu après." (cf. allégués 38-39 de la réponse), ce sur quoi la demanderesse s'est déterminée comme suit: "Admis indivisiblement que le 12 février 2009, la demanderesse a téléphoné aux défendeurs afin d'effectuer un constat des travaux mais comme il[s] ne pouvai[en]t être présent[s], ils ont tout de même félicité la demanderesse pour le bon travail accompli" (ad all. 38; all. 39: ignoré). Le premier juge a constaté sur cette base que les défendeurs n'étaient pas présents le 12 février 2009 lorsque la demanderesse avait terminé ses travaux, mais "s'y [étaie]nt rendus peu de temps après". Ceci n'exclut toutefois aucunement que les travaux se soient déroulés en deux temps. Pour le surplus, la livraison de l'ouvrage est, comme le soulignent les recourants eux-mêmes, une notion juridique (<ref-ruling> consid. 2c p. 354; arrêt 4C.132/1994 du 12 septembre 1994 consid. 4a), de sorte que le grief d'arbitraire dans l'établissement des faits tombe à faux de ce point de vue. Quant au droit d'être entendu, l'autorité précédente a discuté l'argument selon lequel la livraison/réception de l'ensemble des travaux aurait été fixée au 13 février 2009, de sorte que l'avis des défauts du 16 février suivant serait intervenu en temps utile. Elle a relevé que les maîtres se fondaient uniquement sur leurs propres allégations en feignant d'ignorer que le chantier avait été effectué en deux temps. Au regard des exigences minimales rappelées ci-dessus, l'autorité précédente a satisfait à son devoir de motivation. Savoir si la réponse donnée est bien fondée ne ressortit plus au droit d'être entendu.
Le grief de violation de l'art. 29 al. 2 Cst. doit être rejeté, à l'instar de celui d'arbitraire dans l'établissement des faits.
4.
4.1. L'autorité précédente aurait versé dans l'arbitraire en retenant qu'une partie des travaux avait été achevée et livrée à l'automne 2008. Les témoignages sur lesquels elle aurait fondé sa conviction ne seraient pas dignes de foi, puisqu'il s'agirait d'employés de l'intimée, appelés de surcroît à témoigner de faits remontant à près de dix ans, et se trouvant "influencés" dans la mesure où ils auraient été présents lorsque les parties et l'expert D._ se seraient retrouvés sur les lieux afin de déterminer le complément d'expertise à réaliser. Il faudrait bien plutôt se fonder sur le devis de l'intimée du 23 août 2008, signé par les deux parties, et " attestant de leur volonté claire quant à l'élément essentiel du contrat qu'était l'ouvrage ".
4.2. S'agissant de l'appréciation des preuves et de l'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 4.1; <ref-ruling> consid. 4.2).
4.3. La cour cantonale a constaté, en fait, que les travaux s'étaient déroulés en deux temps. Les travaux du rez-de-chaussée avaient été exécutés dans une première étape; ils s'étaient terminés en octobre 2008 et l'entreprise de plâtrerie avait adressé aux maîtres d'ouvrage les factures corrélatives les 29 octobre et 17 novembre 2008. Elle avait ensuite exécuté les travaux au premier étage de la villa pour les achever le 12 février 2009. Le Tribunal fédéral ne décèle nul arbitraire dans ces constatations que la cour cantonale déduit non seulement de témoignages concordants, mais également des écritures même des défendeurs/recourants, lesquels ont allégué que la demanderesse/intimée avait commencé ses travaux par le rez-de-chaussée "avant d'attaquer l'étage".
Pour le surplus, la cour cantonale a inféré qu'il y avait eu une première livraison/réception faisant courir le délai d'avis des défauts pour les travaux du rez-de-chaussée, délai qui n'avait pas été respecté. Savoir s'il y a eu en l'occurrence livraison d'un ouvrage, respectivement livraison partielle susceptible de faire courir un premier délai pour l'avis des défauts relève du droit (au contraire des constatations de fait afférentes au déroulement des travaux, respectivement à leur date d'achèvement). Les parties définissent librement le ou les ouvrages objet (s) du (des) contrat (s) d'entreprise. En dérogation au système légal, elles peuvent envisager des livraisons partielles. De la même manière, elles déterminent librement les modalités de paiement de l'entrepreneur - en prévoyant, par exemple, des avances, ou encore des acomptes versés en fonction des prestations déjà fournies par l'entrepreneur (sur ces questions, cf. PETER GAUCH, Der Werkvertrag, 6e éd. 2019, nos 108-108a, 1158, 1162 ss et 2466-2466a). A défaut de pouvoir établir la volonté réelle concordante des parties, l'interprétation des manifestations de volonté se fait conformément au principe de la confiance; si cette opération relève du droit, la cour de céans ne peut sanctionner, dans cette voie de recours subsidiaire, qu'une violation qualifiée constitutive d'arbitraire.
Or, sur toutes ces questions, le grief (infondé) d'arbitraire dans la constatation du fait que les travaux se sont déroulés en deux étapes est parfaitement inopérant. Pour le surplus, on ne discerne pas de griefs dénonçant de façon suffisamment motivée une hypothétique application arbitraire des art. 363 et 367 CO (cf. consid. 1.3.3 supra); le recours ne dit mot sur l'<ref-law> et le principe de la confiance. Il est reproché aux juges vaudois d'avoir examiné d'office la question de la tardiveté de l'avis des défauts, en l'absence de toute allégation topique de l'entreprise intimée; dans la mesure où les recourants ne font valoir aucun droit constitutionnel, il n'y a pas davantage à discuter cette question (sur les possibilités d'examen d'office, cf. au demeurant GAUCH, op. cit., n° 2174). Enfin, on rappellera à toutes fins utiles que la décision doit être arbitraire dans son résultat, et que l'arbitraire ne résulte pas déjà du seul fait qu'une autre solution serait envisageable, voire préférable.
5.
5.1. Finalement, les recourants estiment que la cour cantonale, en refusant d'ordonner une nouvelle expertise judiciaire, a violé leur droit d'être entendus (droit à la preuve), respectivement a versé dans l'arbitraire en procédant à une appréciation anticipée des preuves.
5.2. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend notamment le droit de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes et de participer à l'administration des preuves essentielles. L'autorité peut cependant renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 4.1; <ref-ruling> consid. 4.3.1 et 4.3.2, p. 376 s.).
5.3. La Cour d'appel a rappelé que non moins de trois experts judiciaires avaient été mis en oeuvre en première instance sur la question des défauts; elle s'est estimée suffisamment renseignée et a considéré qu'une nouvelle expertise ne serait pas de nature à modifier le résultat des preuves qu'elle tenait pour acquis. Dans un autre passage de l'arrêt, elle a précisé qu'aucune des expertises n'arrêtait précisément le montant de la moins-value due aux défauts concernant les travaux exécutés à l'étage de la villa.
5.4. Il découle de ce dernier constat que les expertises n'apportent pas de réponses à des questions pourtant pertinentes pour l'issue du litige. Cela étant, le refus d'ordonner la mesure requise ne signifie pas encore qu'il y ait eu violation du droit d'être entendu. Doit ainsi être mis en exergue un évident problème d'ancienneté; les travaux litigieux à l'étage de la villa se sont déroulés de fin octobre 2008 à février 2009, et la Cour d'appel a été saisie en décembre 2018. Il reste à démontrer qu'une nouvelle expertise eût pu résoudre des questions auxquelles les précédentes expertises ne répondaient pas; à tout le moins l'appréciation anticipée des preuves n'apparaît-elle pas arbitraire de ce point de vue, ce qui suffit déjà à entraîner le rejet du grief.
Les recourants arguent du fait qu'ils n'avaient pas à anticiper une construction juridique "absurde" consistant à retenir une livraison "sectionnée" de l'ouvrage réalisé par l'entreprise de plâtrerie. Les commentateurs de l'<ref-law> concèdent, par analogie avec l'<ref-law>, qu'une motivation juridique surprenante adoptée dans le premier jugement peut autoriser l'introduction de pseudo novaen appel (FRANCESCA VERDA CHIOCCHETTI, in Commentario pratico al CPC, [Trezzini et alii éd.] 2e éd. 2017, n° 78 ad <ref-law>; KARL SPÜHLER, in Basler Kommentar, 3e éd. 2017, n° 9 ad <ref-law>; MARTIN STERCHI, in Berner Kommentar, 2012, n° 10 ad <ref-law>). Cela étant, il n'apparaît pas que les recourants se soient plaints en appel d'un tel effet de surprise. Au demeurant, reprocher un manque de diligence (cf. <ref-law>) aux recourants qui étaient assistés d'un avocat ne constituerait pas un arbitraire dans le présent contexte. On relèvera encore qu'en juin 2016, les recourants avaient tenté d'introduire des allégués supplémentaires (ainsi qu'un rapport d'expertise privée), ce qui leur avait été refusé sur la base de la procédure cantonale; or, le recours ne contient nulle trace d'un grief d'arbitraire dans l'application du droit vaudois.
Dans de telles circonstances, on ne discerne aucune violation du droit d'être entendu - ni, au demeurant, d'arbitraire dans l'appréciation anticipée des preuves.
6.
En définitive, le recours en matière civile doit être déclaré irrecevable, tandis que le recours constitutionnel subsidiaire doit être rejeté dans la mesure où il est recevable. En conséquence, les recourants supporteront solidairement et à parts égales les frais de la présente procédure et verseront à l'intimée une indemnité de dépens dont le montant restreint (500 fr.) tient compte du fait qu'elle ne s'est que brièvement déterminée sur la requête d'effet suspensif, tout en renonçant - hormis quelques lignes - à se déterminer sur le recours (art. 66 al. 1 et 5 LTF; art. 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière civile est irrecevable.
2.
Le recours constitutionnel subsidiaire est rejeté dans la mesure où il est recevable.
3.
Un émolument judiciaire de 2'000 fr. est mis à la charge des recourants, solidairement entre eux.
4.
Les recourants sont condamnés solidairement à verser à l'intimée une indemnité de 500 fr. à titre de dépens.
5.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud.
Lausanne, le 30 juin 2020
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La présidente : Kiss
La greffière : Monti