A.- a) Par acte authentique du 31 août 1994, A._, C._ et B._ ont vendu à dame L._, pour le prix de 520 000 fr., une part de propriété par étages lui conférant un droit exclusif sur l'une des six villas mitoyennes sises au lieu-dit "...", sur territoire de la commune de ... Au moment de la signature du contrat, la construction de la villa était déjà pratiquement terminée. Dame L._ n'était pas censée intervenir dans l'exécution des travaux, sauf pour des questions de choix ou de finitions susceptibles d'engendrer des plus-values ou des moins-values. Dans les conditions particulières du contrat, il était spécifié que la vente se fondait sur les plans de l'atelier d'architecture X._ et sur un descriptif intitulé "La Résidence ... ", lequel avait été remis à dame L._. Les plans, approuvés par la commune de ..., décrivaient la pièce qui fait l'objet du présent litige comme étant une chambre équipée d'un lit, d'une armoire, d'une table et d'une chaise; la pièce en question a été aménagée avant la signature de l'acte. Le descriptif précisait que les travaux avaient été exécutés selon les règles de l'art, "en tenant compte des conditions générales et spéciales éditées par la S.I.A.", et que l'isolation phonique était "spécialement soignée ... afin de correspondre aux normes de haut standing pouvant donner toute garantie". Une clause de l'acte disposait que les défauts de la chose vendue devaient être signalés par l'acheteuse dans le délai d'une année à compter de l'établissement de la garantie bancaire; cette dernière démarche a été effectuée au plus tôt le 1er janvier 1995. b) Dame L._ a pris possession de la villa le 20 décembre 1994 et s'est adressée très rapidement au notaire, à l'architecte X._ et aux promoteurs pour se plaindre de la qualité de l'objet vendu en raison d'un "problème de bruit". En particulier, elle a téléphoné vers le 21 décembre 1994 au notaire, représentant des promoteurs, pour lui dire que, de manière générale, il y avait un problème de bruit et, partant, un défaut d'isolation phonique. Le 24 mai 1995, dame L._ a versé aux promoteurs la somme de 180 000 fr. correspondant au solde dû sur le prix de vente. Le problème de l'isolation phonique a fait l'objet d'une discussion lors d'une séance tenue le 19 septembre 1995 entre les promoteurs et l'acheteuse. Les vendeurs ont fait parvenir à celle-ci, le 28 septembre 1995, un décompte des plus-values et moins-values laissant apparaître un solde de 36 684 fr.35 en leur faveur. Dame L._ a fait part de son désaccord, le 20 novembre 1995, sollicitant une nouvelle rencontre entre les parties. Cette entrevue s'est déroulée le 11 janvier 1996 en l'étude du notaire et elle a fait l'objet d'un compte rendu qui a été adressé aux intéressés. On peut y lire notamment ce qui suit: "2/ Isolation phonique: Si Madame L._ se plaint d'une mauvaise isolation qui lui permet d'entendre tousser et éternuer son voisin dans la chambre à coucher, par contre les promoteurs déclarent avoir, conformément aux règles de l'art, isolé l'immeuble. En conclusion, les parties sont d'accord de mettre sur pied une expertise, dont le coût sera supporté par la personne qui succombera. Pour la bonne règle, il est fixé à Madame L._ un délai venant à échéance au 30.04.1996 pour mettre sur pied cette expertise. Dans la négative, elle sera réputée avoir admis la situation.. " Peu après cette entrevue, dame L._ a versé la somme de 25 734 fr.35, censée représenter le solde dû par elle, en mains du notaire qui l'a transmise aux promoteurs, compte tenu des assurances données par eux au sujet de l'exécution des travaux de réfection. c) Le 21 mars 1996, d'entente entre les parties, dame L._ a mandaté Y._, architecte, pour qu'il établisse un rapport relatif aux défauts entachant la construction de la maison. Une réunion a eu lieu sur place le 25 avril 1996 en présence de X._ et de A._. A cette occasion, l'architecte X._ a admis l'existence d'un défaut d'isolation phonique et proposé d'examiner quelles mesures pourraient être prises pour y remédier. Le procès-verbal que devait dresser X._ à l'attention de dame L._ et de Y._ ne l'a pas été en dépit de rappels du notaire datés des 28 mai et 26 novembre 1996. D'après le rapport établi par Y._ le 20 décembre 1996 et transmis aux vendeurs en tout cas avant le 27 juin 1997, les exigences légales en matière de protection contre le bruit (Norme SIA 181, édition 1988) n'avaient pas été respectées. Le fait que dame L._ entendait les bruits causés par son voisin à partir de sa chambre à coucher s'expliquait par la mauvaise qualité de l'isolation phonique, inadaptée au standing de la maison vendue. Le retard apporté à la présentation de ce rapport a été le fait des vendeurs. A la suite des interpellations émanant de dame L._ et de son conseil, du 22 janvier au 20 octobre 1997, les promoteurs ont finalement répondu, le 22 décembre 1997, que l'expertise convenue n'avait pas été effectuée dans le terme prévu. Les frais engagés par dame L._ pour faire constater l'existence du défaut d'isolation phonique se sont élevés à 2202 fr.40. B.- Le 27 février 1998, dame L._ a ouvert action contre A._, C._ et B._, concluant à ce qu'ils fussent condamnés à lui payer, avec les intérêts y afférents, une indemnité pour moins-value de 43 000 fr. ainsi que des dommages-intérêts de 7000 fr. Les défendeurs ont conclu au rejet de la demande. En cours d'instruction, Z._, architecte, a été désigné comme expert judiciaire. Il a abouti aux mêmes conclusions que celles de Y._ quant à l'isolation phonique défectueuse et a chiffré à 35 000 fr. le coût des travaux de réfection nécessaires. Par jugement du 8 janvier 2001, la IIe Cour civile du Tribunal cantonal du canton du Valais a condamné solidairement les défendeurs à payer à la demanderesse 35 000 fr. avec intérêts à 5% l'an dès le 24 mai 1995 et 2202 fr.40 avec intérêts à 5% l'an dès le 15 février 1999. Qualifiant de vente immobilière le contrat signé le 31 août 1994, les premiers juges ont estimé que la demanderesse avait donné avis des défauts en temps utile et que, de toute manière, les défendeurs ne pouvaient de bonne foi exciper d'une tardiveté de l'avis des défauts, puisqu'ils avaient accepté, le 11 janvier 1996, de faire administrer une expertise, afin de mettre en évidence un éventuel défaut d'isolation phonique et d'effectuer les travaux de réfection nécessaires. La cour cantonale a fixé ensuite à 35 000 fr. la moins-value résultant de l'isolation phonique défectueuse. Enfin, elle a condamné les défendeurs à rembourser à la demanderesse les frais d'expertise hors procès se montant à 2202 fr.40. C.- Les défendeurs interjettent un recours en réforme au Tribunal fédéral; ils y reprennent leurs conclusions libératoires. La demanderesse propose le rejet du recours et la confirmation du jugement attaqué.