Faits:
A.
Les époux H.X._ et F.X._ (ci-après: les maîtres) souhaitaient construire une villa dans la commune de ... (VS). Le 23 juillet 2005, iIs ont conclu un contrat d'entreprise générale avec une société qui s'engageait à réaliser l'ouvrage pour le prix forfaitaire de 430'000 fr. Un établissement bancaire leur a accordé un crédit de 342'000 fr. Le contrat d'entreprise a toutefois pris fin le 4 juillet 2006, d'entente entre les parties.
L'entreprise générale avait confié l'exécution des travaux de maçonnerie à la société Z._ Sàrl, dont A._ est devenu le gérant en 2008. En juillet 2006, cette société avait déjà achevé le radier de la villa, mais n'avait pas été payée. Le précité a proposé aux maîtres d'assumer la coordination du chantier pour qu'il puisse être mené à son terme et que sa société soit payée.
Le 12 juillet 2006, les maîtres, A._ et un architecte se sont réunis pour établir une liste de "prix estimatifs". L'architecte a évalué à 351'125 fr. le montant des travaux restants à réaliser, dont 120'000 fr. pour les travaux de maçonnerie. Au bas de la liste, il était précisé que le "plafond-limite à ne pas dépasser" était de 490'000 fr. Le document a été signé par les maîtres, A._ et un représentant de la banque.
Le 30 août 2006, les maîtres, en qualité d'"emprunteurs", et A._, en qualité de "fiduciaire", ont signé avec la banque un "contrat fiduciaire" en vertu duquel celle-ci s'engageait à accorder un crédit de construction de 490'000 fr. Le contrat précisait que la construction était exécutée par Z._ Sàrl (ci-après: l'entreprise). A._ s'engageait notamment à vérifier que les paiements à la charge du compte de crédit servaient exclusivement à la nouvelle construction, à contresigner pour accord chaque disposition des emprunteurs sur le compte de crédit et à informer la banque et les emprunteurs en cas d'indications de dépassements des coûts de la construction.
Le 31 août 2006, l'entreprise a adressé aux maîtres une "offre/devis" portant sur un montant total de 130'823 fr. 50 pour des travaux de maçonnerie et de béton. Sur la base de ce document a été élaboré un "contrat d'entreprise", que l'un des maîtres a signé à une date indéterminée, tout comme l'offre/devis du 31 août 2006.
Le 15 juin 2007, l'entreprise a adressé aux maîtres une facture pour des travaux de gypserie exécutés dans leur villa. Elle demandait le paiement de 25'290 fr. 75, après déduction de 15'000 fr. d'acomptes versés les 9 octobre 2006 et 30 janvier 2007. Les intéressés ont refusé de payer cette somme.
Le total des prélèvements effectués sur le compte de construction a atteint 502'260 fr. 65, intérêts débiteurs et frais bancaires inclus. Le compte a été soldé le 3 mars 2008. Après cette date, les maîtres ont encore versé 8'560 fr. à l'entreprise. Il s'agissait du solde dû pour les travaux fondés sur le contrat d'entreprise précité et l'offre/devis du 31 août 2006.
Il n'est pas établi que l'entreprise ait rédigé ou signé des ordres de virement, ni qu'elle ait payé des factures d'entrepreneurs. Les maîtres ont payé directement le coût des travaux effectués, par le débit de leur compte de construction.
B.
B.a. Le 22 octobre 2010, l'entreprise a actionné les maîtres devant le Juge du district de Sierre. Elle concluait au paiement de 25'290 fr. 75 plus intérêts. Les maîtres ont conclu au rejet et, à titre reconventionnel, au paiement de 22'120 fr. plus intérêts. En cours de procédure, ils ont concédé que le montant réclamé par l'entreprise et la qualité des travaux effectués n'étaient pas en cause; ils estimaient toutefois ne pas en être débiteurs au vu du contrat conclu.
Par jugement du 16 avril 2012, le juge de district a rejeté l'action principale et l'action reconventionnelle. Il a considéré que les parties avaient conclu un contrat d'entreprise générale fixant un prix forfaitaire "plafond" de 490'000 fr. Il incombait à l'entreprise de prouver que la facture litigieuse portait sur des frais supplémentaires occasionnés par une modification de commande; or, aucun élément du dossier ne militait en faveur de cette thèse. Quant à la prétention émise à titre reconventionnel, elle n'était pas prouvée.
B.b. L'entreprise a déféré cette décision au Tribunal cantonal valaisan. Par jugement du 3 septembre 2013, le Juge de la II e Cour civile a admis l'appel et condamné solidairement les maîtres à verser à l'entreprise 25'290 fr. 75 plus intérêts. En substance, l'autorité précédente a exclu l'existence d'un contrat d'entreprise générale; elle a constaté que les travaux de gypserie ne figuraient pas dans le devis du 12 juillet 2006, qu'il s'agissait de travaux supplémentaires et qu'ils avaient été acceptés par les maîtres, de sorte que l'entreprise avait le droit d'être rémunérée.
C.
Les maîtres saisissent le Tribunal fédéral d'un recours constitutionnel subsidiaire assorti d'une requête d'effet suspensif. Ils concluent à la réforme du jugement rendu le 3 septembre 2013, en ce sens que l'appel est rejeté. L'entreprise conclut au rejet du recours. L'autorité précédente se réfère à son arrêt.
L'effet suspensif a été refusé par ordonnance présidentielle du 20 novembre 2013.

Considérant en droit:
1.
1.1. La valeur litigieuse, déterminée par les conclusions prises devant l'autorité précédente, est inférieure au seuil de 30'000 fr. requis pour le recours en matière civile (art. 51 al. 1 let. a et art. 74 al. 1 let. b LTF). Subsiste le recours constitutionnel subsidiaire (<ref-law>).
1.2. Cette voie de droit n'autorise qu'un seul type de grief: la violation des droits constitutionnels (<ref-law>). Pour ceux-ci prévaut le principe d'allégation (cf. <ref-law> en liaison avec l'<ref-law>) : le recourant doit dire quel droit ou principe constitutionnel a été violé et exposer de manière claire et circonstanciée, si possible documentée, en quoi consiste la violation. Des critiques de type purement appellatoire ne sont pas admissibles (<ref-ruling> consid. 1.2; <ref-ruling> consid. 2.2; <ref-ruling> consid. 1.4.2 et 1.4.3).
1.3. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente, si la partie recourante ne démontre pas que les constatations déterminantes soient intervenues en violation de ses droits constitutionnels (<ref-law>; <ref-ruling> consid. 3.2 p. 445; cf. aussi <ref-ruling> consid. 7.1 p. 398).
Au vu de ce qui précède, il n'y a pas à tenir compte des faits présentés par les recourants, en tant qu'ils s'écartent des constatations de l'arrêt attaqué sans satisfaire aux exigences précitées.
2.
2.1. Les recourants dénoncent une application arbitraire des art. 18 et 363 CO. En substance, ils reprochent à l'autorité précédente d'avoir refusé de retenir l'existence d'un contrat d'entreprise générale à prix forfaitaire, procédant à une interprétation insoutenable des faits établis.
2.2. L'<ref-law> énonce que lorsque le prix de l'ouvrage a été fixé à forfait, l'entrepreneur est tenu d'exécuter l'ouvrage pour la somme fixée; il ne peut réclamer aucune augmentation, même si l'ouvrage a exigé plus de travail ou de dépenses que ce qui avait été prévu.
Le prix convenu n'est déterminant que pour l'ouvrage alors projeté, sans modifications qualitatives ou quantitatives (arrêt 4C.203/2005 du 9 janvier 2006 consid. 4.1, rés. in DC 2006 p. 66 n° 211). Les modifications de commande donnent droit à une augmentation du prix dans la mesure où elles ont nécessité des prestations supplémentaires de l'entrepreneur; sauf convention spéciale, cette rémunération se calcule sur la base de l'<ref-law>, c'est-à-dire d'après la valeur du travail et les dépenses de l'entrepreneur (<ref-ruling> consid. 3b; cf. par ex. PETER GAUCH, Der Werkvertrag, 5 e éd. 2011, n os 905-905a; TERCIER ET ALII, Les contrats spéciaux, 4 e éd. 2009, n° 4685). Il n'est pas nécessaire que le maître ait commandé les travaux supplémentaires pour qu'ils soient mis à sa charge; il suffit qu'il les ait acceptés (arrêt 4C.375/1993 du 20 juin 1994 consid. 3c, rés. in SJ 1995 p. 100). En pratique, il est difficile de déterminer si une modification de commande alléguée existe réellement, ou si une prestation prétendument supplémentaire fait encore partie des prestations convenues à l'origine. Il convient d'interpréter le contrat d'entreprise pour déterminer quelles prestations l'entrepreneur devait initialement fournir (cf. arrêts 4A_291/2007 du 29 octobre 2007 consid. 4.3, rés. in DC 2008 p. 68 n° 131; 4C.23/2004 du 14 décembre 2004 consid. 4.1; GAUCH, op. cit., n° 906).
De même, lorsqu'il s'agit de déterminer dans quelle mesure un devis a été dépassé, les modifications de commande demandées - ou à tout le moins acceptées - par le maître ne sont pas prises en compte; elles doivent être rémunérées normalement ( TERCIER ET ALII, op. cit., n° 4737, à propos de l'<ref-law>).
2.3. En l'occurrence, l'autorité précédente a considéré que les travaux de gypserie dont l'entreprise réclamait le paiement constituaient des travaux supplémentaires, non compris dans le devis du 12 juillet 2006 chiffrant le coût total de l'ouvrage à 490'000 fr. Les maîtres avaient accepté ces travaux supplémentaires, qui donnaient ainsi droit à une rémunération calculée selon le travail et les dépenses de l'entrepreneur, à défaut d'accord contraire (<ref-law>). L'autorité d'appel a donc retenu une modification de commande entraînant des prestations supplémentaires sujettes à rémunération, s'écartant ainsi de l'analyse du premier juge, qui estimait que l'entreprise n'avait pas rapporté la preuve d'une telle modification.
Les recourants ne soulèvent pas le moindre grief à ce sujet. En particulier, ils ne cherchent pas à démontrer que l'ouvrage tel qu'initialement convenu devait inclure les travaux de gypserie et qu'une autre conclusion serait insoutenable. Ils ne plaident pas non plus que l'autorité précédente aurait arbitrairement méconnu qu'il incombait à l'entreprise de prouver l'existence d'une modification de commande, et qu'elle avait succombé sur ce point. La cour de céans est donc liée par l'analyse du juge d'appel. Or, celle-ci scelle le sort de la cause, indépendamment d'un éventuel engagement à livrer la villa pour le prix maximal de 490'000 fr., ou d'une éventuelle responsabilité pour l'estimation du coût des travaux et le dépassement de celle-ci. Dans ce contexte, la question de savoir si les parties ont ou non conclu un contrat d'entreprise générale est sans incidence pour l'issue de la cause.
Le recours ne peut dès lors qu'être rejeté.
3.
Les recourants, qui succombent, sont condamnés solidairement aux frais et dépens de la présente procédure (art. 66 al. 1 et 5, art. 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Les recourants sont condamnés solidairement à verser à l'intimée une indemnité de 2'500 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux mandataires des parties et au Juge de la II e Cour civile du Tribunal cantonal du canton du Valais.
Lausanne, le 18 février 2014
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Monti