Faits :
A.
A.a. X.A._ et Y.A._, copropriétaires de la parcelle n° aaa sise à Grône, souhaitaient y ériger une villa. Ils ont chargé B._ Sàrl (ci-après: B._) de préparer le dossier de mise à l'enquête publique. Pour la réalisation des plans de l'ouvrage, B._ a fait appel à un bureau d'architecture.
L'autorisation de construire a été délivrée le 26 juin 2007.
Dans le cadre de la construction de la villa, les époux A._ ont confié à B._ un certain nombre de travaux, lesquels ont été exécutés par des entreprises tierces. Il s'agit notamment de la maçonnerie, des chapes, de la couverture/ferblanterie, des fenêtres et des stores/volets.
Les travaux se sont déroulés entre l'automne 2007 et le printemps 2008.
A.b. Par lettre recommandée du 7 novembre 2008, les époux A._ ont signalé à B._ plusieurs défauts, dont les suivants:
- jambes de force en maçonnerie non ferraillées avec la dalle
- vide entre les briques trop important
- fenêtres présentant un vide à la suite de reprises de maçonnerie, compensé par de la mousse expansive
- infiltrations d'eau et de goudron dans la salle de bain du sous-sol
- tablette de la fenêtre du sous-sol trop courte
- absence du caisson de store prévu sur la fenêtre de l'atelier
- fissure d'environ 30 cm dans les WC.
Par le même courrier, les époux A._ ont contesté le montant réclamé par B._ pour les travaux de béton-maçonnerie, le solde encore dû à l'entreprise C._ AG étant consigné.
Tous les avis des défauts ont été transmis aux diverses entreprises concernées, notamment à C._ AG, laquelle affirmera avoir procédé aux travaux de retouche et à toutes les réparations.
A.c. Le 8 mars 2010, B._ a adressé aux époux A._ une facture d'un montant total de 278'753 fr.25 comprenant les factures des sous-traitants ainsi qu'un poste à hauteur de 12'512 fr.10 pour la surveillance du chantier par D._, l'un des associés gérants de B._.
Le 6 mai 2010, les époux A._ ont contesté avoir convenu avec B._ des honoraires pour la surveillance des sous-traitants; ils ont également souligné la persistance de nombreux défauts.
A.d. Le 7 juillet 2013, les époux A._ ont fait notifier à B._ un commandement de payer pour un montant de 150'000 fr., indiquant comme cause de l'obligation les défauts dans la construction de leur villa. B._ a formé opposition.
A.e. Le 10 octobre 2013, B._ a adressé aux époux A._ une facture intitulée "Travaux exécutés pour Mme et M. Y.A._" reprenant pour l'essentiel les postes de la facture du 8 mars 2010 et indiquant au regard de chaque poste les montants payés.
Le 7 juillet 2014, B._ a fait notifier aux époux A._, séparément, un commandement de payer le montant de 45'405 fr.95, indiquant comme cause de l'obligation le "décompte de construction" du 8 mars 2010 (poursuites nos xxx et yyy de l'Office des poursuites du district de Sierre). Chacun des poursuivis a formé opposition.
B.
B.a. La conciliation ayant échoué, une autorisation de procéder a été délivrée à X.A._ et Y.A._. Par demande du 27 novembre 2014, ils ont introduit contre B._ une action fondée sur leurs droits découlant de la garantie des défauts (<ref-law>). Dans leur dernier état, leurs conclusions principales tendaient à ce que B._ soit condamnée à leur payer 119'000 fr. plus intérêts, correspondant à la réduction du prix de l'ouvrage, ainsi que 30'000 fr. à titre de dommages-intérêts et frais d'accompagnement de réfection de l'ouvrage.
B._ a conclu reconventionnellement à ce que X.A._ et Y.A._ soient condamnés à lui payer 44'405 fr.45 avec intérêts. Ce montant comprend notamment un solde impayé de 30'264 fr.60 sur la facture de C._ AG et un montant de 11'468 fr.85 à titre d'honoraires de surveillance du chantier.
Une expertise a été ordonnée, tendant principalement à constater les éventuels défauts de construction de la villa. L'expert a rendu son rapport le 2 février 2017 et un rapport complémentaire le 30 mai 2017.
Par jugement du 23 août 2018, le juge IV du district de Sierre a prononcé:
"1. L'action en paiement est très partiellement admise.
2. L'opposition formée au commandement de payer n° xxx de l'office des poursuites de Sierre est définitivement levée à concurrence de 14'934 fr.25 avec intérêt au taux de 5% l'an dès le 8 juillet 2014.
3. L'opposition formée au commandement de payer n° yyy de l'office des poursuites de Sierre est définitivement levée à concurrence de 14'934 fr.25 avec intérêt au taux de 5% l'an dès le 8 juillet 2014."
Le seul défaut admis par le juge portait sur neuf fissures constatées sur les murs de la villa. La créance que X.A._ et Y.A._ pouvaient faire valoir en garantie des défauts s'élevait à 10'000 fr., correspondant au coût estimé par l'expert pour une réfection complète des façades. En ce qui concerne les prétentions reconventionnelles de B._, le juge a admis une rémunération de l'entrepreneur encore due à hauteur de 10'368 fr.55 et un solde impayé de 29'500 fr. sur la facture de C._ AG. Après compensation avec la somme susmentionnée de 10'000 fr., le solde dû à B._ se montait à 29'868 fr.55, soit 14'934 fr.25 à la charge de chacun des époux A._.
B.b. X.A._ et Y.A._ ont interjeté appel.
Par jugement du 3 novembre 2020, la Cour civile I du Tribunal cantonal du Valais a très partiellement admis l'appel, dans la mesure où il était recevable; X.A._ et Y.A._ étaient condamnés à verser chacun à B._, après compensation, un montant de 9'750 fr., avec intérêts à 5% l'an dès le 8 juillet 2014; les oppositions formées par chacun des époux aux commandements de payer qui leur avaient été notifiés étaient définitivement levées à concurrence de cette somme plus intérêts; toute autre ou plus ample conclusion était rejetée.
La cour cantonale se distingue du premier juge uniquement en rejetant la prétention de B._ en paiement d'une rétribution pour la surveillance des travaux. Au surplus, il sera revenu en tant que besoin sur les motifs du jugement attaqué dans les considérants en droit du présent arrêt.
C.
X.A._ et Y.A._ interjettent un recours en matière civile, subsidiairement un recours constitutionnel. Ils demandent au Tribunal fédéral d'annuler le jugement du 3 novembre 2020 de la cour cantonale et de renvoyer la cause à cette autorité pour nouvelle décision dans le sens des considérants. Ils expliquent ensuite dans quel sens la cour cantonale devrait juger. Principalement, ils demandent préalablement qu'une nouvelle expertise soit ordonnée et reprennent au fond leurs conclusions tendant à la condamnation de B._ au paiement d'un montant de 119'000 fr. plus intérêts et au rejet de la demande reconventionnelle; subsidiairement, ils concluent à l'admission de l'appel et au renvoi de la cause au Tribunal de première instance pour complément d'instruction dans le sens des considérants.
B._ propose le rejet de toutes les conclusions du recours, dans la mesure de leur recevabilité.
Les recourants ont déposé une réplique.
Pour sa part, la cour cantonale se réfère aux considérants de son jugement.

Considérant en droit :
1.
Les conditions de recevabilité du recours en matière civile sont réalisées sur le principe, notamment celles afférentes à la valeur litigieuse minimale de 30'000 fr. (<ref-law>) et au délai de recours (<ref-law>). L'examen des griefs particuliers soulevés par les recourants est réservé.
2.
2.1. Le recours en matière civile peut être exercé pour violation du droit fédéral (<ref-law>), y compris le droit constitutionnel (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4). Le Tribunal fédéral applique le droit d'office (<ref-law>). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes. Il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.4; <ref-ruling> consid. 2, 115 consid. 2; <ref-ruling> consid. 1.3). Par exception à la règle selon laquelle il applique le droit d'office, il n'examine la violation d'un droit constitutionnel que si le grief a été invoqué et motivé de façon détaillée (<ref-law>; <ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4; <ref-ruling> consid. 2.2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). "Manifestement inexactes" signifie ici "arbitraires" (<ref-ruling> consid. 2.2; <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi les conditions précitées seraient réalisées (<ref-ruling> consid. 1.3. et les références). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.1; <ref-ruling> consid. 2.4; <ref-ruling> consid. 2.3). Si elle souhaite obtenir un complètement de l'état de fait, la partie doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes en conformité avec les règles de procédure les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (ATF <ref-ruling> consid. 2). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
En matière de constatations de fait et d'appréciation des preuves, il y a arbitraire lorsque le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, lorsqu'il a omis sans raisons objectives de tenir compte des preuves pertinentes ou encore lorsqu'il a tiré des déductions insoutenables à partir des éléments recueillis (<ref-ruling> consid. 2.3; <ref-ruling> consid. 4.2; <ref-ruling> consid. 4.2; <ref-ruling> consid. 5.3; <ref-ruling> consid. 2.1).
3.
Il est constant que les parties étaient liées par un contrat d'entreprise total. Invoquant leurs droits découlant de la garantie des défauts, les maîtres de l'ouvrage ont exercé l'action en réduction de prix et réclamé en sus des dommages-intérêts (<ref-law>), alors que l'entrepreneur a conclu reconventionnellement au paiement du solde du prix, comprenant des honoraires pour la surveillance du chantier et le solde de la facture du sous-traitant C._ AG.
A ce stade, le litige porte sur la prétention en réduction de prix, ainsi que, apparemment, sur le solde du prix encore dû en lien avec la facture du sous-traitant.
4.
Dans leur appel sous l'appellation "faits complémentaires" et dans leurs cinq écritures ultérieures, les recourants ont allégué des faits nouveaux qui, selon eux, justifiaient l'administration d'une nouvelle expertise.
La cour cantonale a qualifié de faux nova les "faits complémentaires" allégués dans l'appel et les a déclarés irrecevables en application de l'<ref-law>, les appelants n'établissant pas en quoi les faits en question ne pouvaient pas être régulièrement introduits en procédure devant le premier juge.
L'autorité précédente a également refusé de prendre en compte les malfaçons alléguées dans les mémoires ultérieurs au titre de vrais nova, car les appelants ne démontraient pas à satisfaction le caractère nouveau de ces éléments. Dans une argumentation subsidiaire, la cour cantonale relève que l'administration d'une expertise dans l'optique de prouver l'apparition de nouvelles malfaçons serait dénuée d'intérêt pour l'issue de la cause, dès lors que d'éventuels nouveaux défauts (primaires ou secondaires) ne pourraient plus être couverts par le système de garantie en raison de la prescription.
4.1.
4.1.1. Dans un premier grief, les recourants sont d'avis que la cour cantonale a versé dans l'arbitraire en qualifiant de faux nova "les faits complémentaires déposés avec l'appel" et en les écartant de l'état de fait déterminant. Il s'agirait de faits "relev[ant] des rapports internes" entre l'intimée et le sous-traitant C._ AG, qui ressortiraient des procès-verbaux des audiences d'instruction et, à ce titre, auraient dû figurer dans le jugement de première instance.
4.1.2. Le grief tiré d'une violation de l'art. 9 Cst. doit être motivé de façon détaillée (cf. consid. 2.1 supra). Tel n'est pas le cas du moyen fondé sur l'arbitraire soulevé par les recourants. Le recours ne contient même pas une description précise des "faits complémentaires" qui auraient été arbitrairement omis des constatations cantonales, la seule mention selon laquelle ils relèvent des rapports entre l'entrepreneur et l'un des sous-traitants ne permettant manifestement pas de comprendre précisément de quoi il en retourne.
Faute de motivation suffisante, le grief est irrecevable.
4.2.
4.2.1. Les recourants critiquent ensuite le "chiffre" 1.3.2.2 du jugement querellé.
D'une part, la cour cantonale aurait établi les faits de manière inexacte et même arbitraire en constatant que les photographies produites par les appelants et la déclaration écrite de E._ ne renseignaient pas de manière convaincante sur la date de la découverte des faits présentés comme nouveaux dans les écritures ultérieures à l'appel. Or, cette constatation erronée aurait précisément conduit la cour cantonale à déclarer lesdits faits irrecevables faute de preuve de leur caractère nouveau.
D'autre part, les juges cantonaux auraient versé dans l'arbitraire en qualifiant les faits nouveaux allégués de défauts nouveaux, pour lesquels les maîtres de l'ouvrage ne pouvaient plus faire valoir leurs droits de garantie en raison de la prescription, de sorte qu'une nouvelle expertise était d'emblée dénuée de pertinence.
4.2.2. D'après les constatations de la cour cantonale, les appelants eux-mêmes faisaient valoir que les faits allégués dans leurs écritures ultérieures à l'appel (fissures, traces d'humidité) étaient de vrais novas. Pour que lesdits faits soient pris en compte par les juges d'appel, il devait être démontré qu'ils étaient intervenus après la fin des débats principaux de première instance (caractère nouveau) et qu'ils avaient été invoqués sans retard, conformément à l'<ref-law>. Pour ce faire, les recourants devaient logiquement alléguer et prouver le moment auquel ils avaient eu connaissance de chacun des faits en cause, objets des allégués 141 et suivants.
Selon le jugement attaqué, les appelants n'ont même pas avancé la date à laquelle ils auraient découvert les nouvelles malfaçons et ni les photographies produites, pour l'essentiel non datées, ni la déclaration de E._ "ne renseign[ai]ent de manière convaincante sur cette question essentielle". Sur ce point, les recourants se bornent à une critique toute générale et indifférenciée, opposant à l'appréciation de la cour cantonale l'affirmation selon laquelle "leurs écritures sur faits nouveaux motivent totalement la notion de nouveauté des faits". Certes, ils reprennent à titre d'exemple quelques lignes de trois de leurs écritures ultérieures à l'appel, mais les faits prétendument invoqués sans retard n'y sont même pas désignés. Là non plus, les recourants ne motivent pas de manière suffisamment précise le grief d'inexactitude manifeste dans l'établissement des faits et d'appréciation arbitraire des preuves.
Il s'ensuit que la cour cantonale pouvait à bon droit ne pas tenir compte des faits allégués dans les écritures ultérieures à l'appel des recourants, dont le caractère nouveau n'avait pas été démontré. La question de savoir si une expertise devait être ordonnée sur ces faits présentés comme nouveaux ne se pose ainsi plus, de sorte que la seconde partie du grief des recourants est sans objet.
5.
Invoquant toujours la violation de l'interdiction de l'arbitraire dans l'établissement des faits, les recourants reprochent ensuite à la cour cantonale, si on les suit bien, d'avoir, à l'instar du premier juge, nié l'existence de plusieurs malfaçons en se fondant sur l'expertise judiciaire. A leur sens, une nouvelle expertise aurait dû être ordonnée sur les défauts allégués.
5.1. Comme pour tout moyen de preuve, le tribunal apprécie librement la force probante d'une expertise (<ref-law>). La question de savoir si le juge est convaincu par le raisonnement de l'expert et s'il va suivre ses conclusions relève donc de l'appréciation des preuves, que le Tribunal fédéral ne reverra, le cas échéant, que sous l'angle de l'arbitraire (<ref-ruling> consid. 6.1; <ref-ruling> consid. 4.3.1 et les arrêts cités).
Lorsque l'autorité cantonale juge une expertise concluante et en fait sien le résultat, le Tribunal fédéral n'admet le grief d'appréciation arbitraire des preuves que si l'expert n'a pas répondu aux questions posées, si ses conclusions sont contradictoires ou si, d'une quelconque autre façon, l'expertise est entachée de défauts à ce point évidents et reconnaissables, même sans connaissances spécifiques, que le juge ne pouvait tout simplement pas les ignorer. Il n'appartient pas au Tribunal fédéral de vérifier si toutes les affirmations de l'expert sont exemptes d'arbitraire; sa tâche se limite bien plutôt à examiner si l'autorité précédente pouvait, sans arbitraire, se rallier au résultat de l'expertise (<ref-ruling> consid. 4.2.3; <ref-ruling> consid. 4.4.1; arrêt 4A_551/2015 du 14 avril 2016 consid. 4.1).
5.2.
5.2.1. Les maîtres de l'ouvrage invoquaient un défaut au système de drainage, alléguant que les pipes de rinçage des drains périphériques étaient pleines d'eau et que lesdits drains étaient bouchés par des gravats.
L'expert judiciaire a fait procéder à l'inspection du système de drainage au moyen d'une caméra par une entreprise spécialisée. Sur la base du rapport d'intervention de cette entreprise, il est parvenu à la conclusion que les drainages ne présentaient aucune défectuosité apparente et qu'ils fonctionnaient. Se fondant sur les conclusions de l'expert, le juge de première instance a retenu que l'existence de défauts en lien avec les drains périphériques n'était pas prouvée. En appel, les recourants faisaient valoir que tant l'expert que le tribunal n'avaient pas pris en compte les vidéos et la photo prises par l'entreprise spécialisée, qui laissaient apparaître la présence d'eau et de gravats. La cour cantonale a jugé que cette prémisse de l'argumentation des appelants était erronée. En effet, l'expert avait bien fait état, dans son rapport complémentaire, de la présence de retenues d'eau, de dépôts terreux ou assimilables à des concrétions calcaires, mais il avait constaté, à l'instar de l'entreprise spécialisée, que les drainages fonctionnaient en dépit de ces dépôts. Il avait également ajouté que le "complexe mur contre terre / étanchéité extérieure / drainages ne présent[ait] pas de défectuosité à même d'entraîner un dommage dans la villa", dont il rappelait qu'elle avait été construite il y a près de 10 ans. Comme le premier juge, la cour cantonale s'est ralliée au résultat de l'expertise sur l'absence de malfaçon du système de drainage imputable aux travaux réalisés en 2008 par l'intimée ou ses sous-traitants.
Dans leur mémoire, les recourants ne démontrent pas en quoi la conclusion de l'expert résulterait d'un raisonnement si manifestement faux que la cour cantonale ne pouvait s'y rallier sans verser dans l'arbitraire. Ils se bornent à prétendre que la présence d'eau et de gravats démontre par elle-même le défaut qui affecterait le système de drainage, mais ne disent mot de la conclusion de l'expert, confirmée par l'entreprise qui a procédé à l'inspection, selon laquelle les conduites remplissent leur fonction de drainage malgré les dépôts constatés.
Là encore, le grief tiré d'une appréciation arbitraire des preuves ne répond pas aux exigences de motivation déduites de l'<ref-law>.
5.2.2. Un autre défaut invoqué par les maîtres de l'ouvrage portait sur l'isolation. Ils alléguaient que les vides entre les fenêtres et les murs étaient trop grands et avaient été bouchés par de la mousse expansive.
Se fondant sur les conclusions de l'expert, le premier juge, suivi par la cour cantonale, n'a pas retenu un défaut d'isolation. Dans son rapport, l'expert judiciaire relevait qu'après la pose de mousse expansive, le crépissage et le revêtement intérieur jusque contre le cadre, aucun vide n'était désormais visible et qu'il n'avait pas constaté de pont de froid aux embrasures. Dans son rapport complémentaire, il précisait qu'un pont de froid se remarquait, avec le temps, par des noircissures, voire dans les cas extrêmes par une condensation sur les parties de construction ayant des faiblesses d'isolation thermique; il n'avait toutefois constaté un tel phénomène à aucune fenêtre.
Les recourants invoquent à ce sujet "une constatation fausse des faits". Ils se réfèrent aux "faits nouveaux déposés au stade de l'appel", qui démontreraient "l'apparition de taches issues d'un pont de froid". Le moyen, succinct, est tout sauf clair. Il est en tout cas dépourvu de toute démonstration d'arbitraire, de sorte qu'il ne peut qu'être déclaré irrecevable.
5.2.3. Les maîtres de l'ouvrage invoquaient également des défauts affectant les fondations de la villa. Ils alléguaient que la dalle du radier ne reposait pas sur la jambe de force, qui n'était pas solidaire avec le ferraillage de celle-ci.
S'appuyant sur les conclusions de l'expert et les déclarations de l'ingénieur civil ayant établi les plans de béton armé, le premier juge n'a pas retenu de défaut en lien avec la jambe de force et la dalle du radier. Dans le jugement attaqué, la cour cantonale relève que le grief formulé en appel à ce propos est sans consistance; les appelants ne démontrent pas en quoi les conclusions de l'expert judiciaire quant à l'absence de malfaçon au niveau des fondations - discutées en détail dans le rapport principal et confirmées dans le complément d'expertise - seraient inexactes ou incomplètes.
A nouveau, les recourants se livrent à une critique vague, tenant les conclusions des deux instances cantonales sur l'absence de défaut pour erronées car contraires aux "faits nouveaux déposés en cause au stade de l'appel". Ils n'expliquent nullement en quoi le juge aurait apprécié les preuves de manière arbitraire en se ralliant à l'avis de l'expert. Le grief est irrecevable.
5.2.4. A titre de défauts, les maîtres de l'ouvrage ont invoqué encore des remontées d'humidité au sous-sol, provoquant des boursouflures et cloquages ponctuels en pied de façade nord.
Le premier juge s'est fondé sur les conclusions de l'expert, qui décrivait un phénomène courant lorsque le crépi est en contact avec un sol dur, pour retenir que la preuve d'une malfaçon n'avait pas été rapportée. La cour cantonale constate que les recourants, dans leur appel, ne critiquent pas ce point de fait d'une manière motivée, contrairement aux exigences des art. 310 let. b et 311 al. 1 CPC. Dans leur recours, les maîtres de l'ouvrage ne s'en prennent pas à cette motivation du jugement attaqué, mais soutiennent que la cour cantonale a arbitrairement conclu que "la juridiction de première instance n'a[vait] commis aucun impair en retenant l'absence de constatation d'un défaut en rapport avec la remontée d'humidité".
Lorsque, comme ici, l'autorité de dernière instance cantonale peut se limiter à examiner les griefs régulièrement soulevés (<ref-ruling> consid. 2.2.4), le principe de l'épuisement matériel des instances cantonales (<ref-law>) veut que les griefs soumis au Tribunal fédéral aient déjà été invoqués devant l'instance précédente (<ref-ruling> consid.1.1). C'est dire qu'en l'espèce, la cour de céans ne peut entrer en matière sur un grief sur les faits qui n'a pas été traité par l'autorité cantonale faute de motivation suffisante.
6.
Les maîtres de l'ouvrage ont invoqué comme défaut l'absence de caisson de store à la fenêtre du sous-sol, élément qui était prévu sur le plan, comme le démontrerait l'annotation correspondante signée par l'un des associés gérants de l'entrepreneur.
6.1. Le premier juge a réfuté l'existence d'un défaut à ce sujet, car les faits allégués par les demandeurs étaient contestés et n'étaient corroborés par aucun des moyens de preuve administrés. En appel, la cour cantonale a jugé que les recourants n'avaient pas rapporté la preuve que l'annotation "caisson de store" figurant sur un plan non daté était le fait du représentant de l'intimée, même si celui-ci en avait reconnu la possibilité lors de son interrogatoire. En définitive, l'autorité précédente ignorait si le caisson pour store était une prestation initialement convenue avec l'intimée, dont l'absence constituerait un défaut, selon la thèse défendue par les maîtres, ou s'il s'agissait d'une commande supplémentaire, non comprise dans les prestations initialement prévues, à laquelle les maîtres auraient finalement renoncé, selon la version suggérée par le représentant de l'entrepreneur. Comme les appelants avaient échoué à démontrer l'existence d'une divergence entre l'ouvrage convenu et l'ouvrage réalisé, aucun défaut juridique n'était retenu.
6.2. Les recourants se plaignent apparemment d'une appréciation arbitraire des preuves. Selon eux, la cour cantonale aurait "interpr[été] de manière totalement incompréhensible l'acquiescement" de l'intimée, car le représentant de celle-ci aurait reconnu, lors de son audition, qu'un caisson de store était prévu à la fenêtre en cause en admettant la possibilité que, lors des discussions initiales, il ait inscrit sur le plan la mention "caisson de store". L'argumentation subséquente de la cour cantonale sur l'éventualité d'une commande ultérieure n'aurait aucune portée vu la référence expresse à des discussions initiales par l'intimée elle-même. Il serait en outre "arbitraire de juger que (les recourants) ont peut-être renoncé à ce caisson et donc à des stores sur une fenêtre sur la base du dossier en voulant simplement écarter (un de leurs) arguments".
L'intimée contestait le fait que la pose d'un caisson de store sur la fenêtre concernée fasse partie des prestations contractuelles à fournir par l'entrepreneur. Les recourants ont apporté comme preuve une annotation sur un plan, dont ils alléguaient qu'elle était de la main d'un associé gérant de l'entrepreneur.
Entendu, ce dernier n'a pas formellement reconnu son écriture, mais a déclaré qu'il était possible que, lors des discussions initiales, il ait inscrit sur le plan la mention "caisson de store" pour indiquer qu'un store devait être installé sur la fenêtre du sous-sol, tout en précisant ne pas en avoir le souvenir. Il a également déclaré qu'aucun caisson de store n'a été posé "parce qu'en cours de construction, (le recourant) a[vait] prévu de mettre une fenêtre avec un store incorporé" (jugement attaqué consid. 2.6.4.2 p. 24).
De ces éléments, la cour cantonale devait-elle déduire un aveu de la part de l'associé gérant de l'entrepreneur, sous peine de verser dans l'arbitraire, comme les recourants semblent le prétendre? La réponse est négative. Si le représentant de l'intimée n'exclut pas qu'un caisson de store ait été prévu lors des discussions initiales, il indique clairement que, de toute manière, l'un des maîtres de l'ouvrage a modifié la commande par la suite en demandant une fenêtre avec store incorporé. Le représentant de l'intimée n'a dès lors pas admis que le caisson de store faisait partie des prestations à effectuer selon le contrat d'entreprise. La cour cantonale n'a pas apprécié les preuves de manière arbitraire en constatant que l'ouvrage convenu ne comportait pas l'installation d'un caisson de store sur la fenêtre du sous-sol. Le grief tiré de l'art. 9 Cst. est mal fondé.
7.
7.1. Parmi les malfaçons invoquées par les maîtres de l'ouvrage, le juge de première instance a admis que neuf fissures constituaient des défauts et que leur élimination supposait une réfection complète des façades, dont l'expert évaluait le coût à 10'000 fr. La cour cantonale a constaté qu'en seconde instance, aucune des parties ne remettait en cause le montant de 10'000 fr. arrêté par le juge.
7.2. Les recourants se bornent à qualifier cette constatation de fausse au motif qu'ils ont requis une nouvelle expertise sur l'origine des fissures.
La cour de céans a déclaré irrecevables tous les griefs des recourants dirigés contre l'appréciation de l'expertise dans la procédure cantonale (consid. 5 supra). Aucune possibilité de nouvelle expertise n'entrant en ligne de compte, le moyen tombe manifestement à faux.
8.
Les recourants faisaient valoir un défaut d'isolation thermique et phonique du bâtiment, lié aux vides existant entre les briques Thermocellit®.
8.1. Selon l'expertise, les vides pouvaient trouver leur origine dans leur montage non conforme aux prescriptions du fournisseur, qui prévoyaient la pose d'un élément "mâle" contre un élément "femelle", destinée à assurer un emboîtage parfait. D'après les constatations de l'expert, les vides entre les briques avaient été obstrués de part et d'autre avec des enduits. Dans son rapport complémentaire, l'expert précisait que ces vides ainsi obstrués n'avaient aucune incidence sur la statique de la construction et n'influençaient que de manière négligeable, voire nulle, la performance thermique.
La cour cantonale a rejeté la prétention en réduction de prix formulée par les recourants à hauteur de 60'000 fr., correspondant à l'estimation du coût, selon l'expert, pour reposer le système d'isolation de manière correcte. Elle a jugé que si le montage non conforme aux instructions était bien un défaut, une moins-value subie par l'ouvrage n'avait pas été établie, l'expertise étant jugée concluante sur ce point.
8.2. Les recourants se plaignent d'une violation de l'<ref-law>. Si l'on saisit bien leur argumentation, la cour cantonale n'aurait pas appliqué correctement les règles sur le fardeau de la preuve en exigeant des maîtres de démontrer une moins-value de l'ouvrage. A suivre les recourants, dès l'instant où le défaut est établi et le coût de son élimination est estimé par l'expert, il appartient à l'entrepreneur de prouver l'absence de moins-value, c'est-à-dire que la réfection du défaut n'est pas nécessaire.
8.3. Le droit à la réduction de prix prévu à l'<ref-law> permet au maître de réduire le prix en proportion de la moins-value. L'exercice de ce droit suppose que l'ouvrage subisse une moins-value en raison du défaut, ce qui est le cas lorsqu'il existe une différence de valeur effective entre l'ouvrage livré (avec défaut) et l'ouvrage convenu (sans défaut) (FRANÇOIS CHAIX, in Commentaire romand, Code des obligations I, 3e éd. 2021, nos 29 et 30 ad <ref-law>; ZINDEL/SCHOTT, in Basler Kommentar, Obligationenrecht I, 7e éd. 2020, n° 36 ad <ref-law>; PETER GAUCH, Der Werkvertrag, 6e éd. 2019, n° 1627 p. 748).
Selon la méthode dite relative adoptée de longue date par la jurisprudence, le prix convenu est réduit en fonction du rapport existant entre la valeur objective de l'ouvrage avec défaut et la valeur objective de l'ouvrage sans défaut (<ref-ruling> consid. 4a; <ref-ruling> consid. 4a; cf. <ref-ruling> consid. 3a dans le contrat de vente). Deux présomptions de fait facilitent ce calcul. D'une part, la valeur de l'ouvrage non défectueux est présumée égale au prix convenu; la partie qui entend se prévaloir d'une différence doit l'établir. D'autre part, le montant de la réduction de prix est présumé correspondre au coût de la remise en état de l'ouvrage; il incombe à la partie qui conteste cette présomption d'établir que la réparation coûterait davantage que la moins-value ou que la réparation laisserait subsister un facteur de dépréciation (<ref-ruling> consid. 4a; cf. <ref-ruling> consid. 3b).
8.4. Conformément à l'<ref-law>, il appartenait aux maîtres - qui entendaient obtenir une réduction du prix en raison d'un défaut d'isolation - de démontrer que l'ouvrage subissait une moins-value (cf. GAUCH, op. cit., n° 1667 p. 759), c'est-à-dire que sa valeur était moindre avec le montage du mur tel qu'effectué qu'avec le montage prescrit par le fournisseur de briques. Contrairement à ce que les recourants semblent sous-entendre, les constatations de l'expert sur le montage non conforme aux prescriptions et sur le coût estimé de la réfection du mur ne suffisaient pas pour recourir à la présomption de fait exposée plus haut, avec pour conséquence que l'intimée aurait dû prouver l'absence de moins-value (cf. consid. 8.3 in fine).
La cour cantonale a jugé que la preuve à charge des maîtres n'avait pas été rapportée, dès lors que l'expert judiciaire concluait que le montage réalisé, avec de l'enduit obstruant les vides, n'influait pas sur la statique du bâtiment, ni, sinon de manière négligeable, sur la performance thermique de la construction. Les recourants ne prétendent pas que l'autorité précédente aurait apprécié arbitrairement l'expertise en retenant l'absence de conséquences du défaut sur l'usage convenu et, partant, sur la valeur objective de l'ouvrage.
En tant qu'il est recevable, le grief tiré d'une violation du droit fédéral ne peut être qu'écarté.
9.
Sur le vu de ce qui précède, le recours se révèle mal fondé dans la (très faible) mesure où il est recevable.
Les recourants, débiteurs solidaires, prendront à leur charge les frais judiciaires (art. 66 al. 1 et 5 LTF) et verseront des dépens à l'intimée (art. 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 5'500 fr., sont mis solidairement à la charge des recourants.
3.
Les recourants, débiteurs solidaires, verseront à l'intimée une indemnité de 6'500 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux mandataires des parties et à la Cour civile I du Tribunal cantonal du canton du Valais.
Lausanne, le 4 février 2022
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Godat Zimmermann