A.- a) Par acte authentique du 31 août 1994, A._, C._ et B._ ont vendu à dame L._, pour le prix de 520 000 fr., une part de propriété par étages lui conférant un droit exclusif sur l'une des six villas mitoyennes sises au lieu-dit "...", sur territoire de la commune de ...
Au moment de la signature du contrat, la construction de la villa était déjà pratiquement terminée. Dame L._ n'était pas censée intervenir dans l'exécution des travaux, sauf pour des questions de choix ou de finitions susceptibles d'engendrer des plus-values ou des moins-values.
Dans les conditions particulières du contrat, il était spécifié que la vente se fondait sur les plans de l'atelier d'architecture X._ et sur un descriptif intitulé "La Résidence ... ", lequel avait été remis à dame L._. Les plans, approuvés par la commune de ..., décrivaient la pièce qui fait l'objet du présent litige comme étant une chambre équipée d'un lit, d'une armoire, d'une table et d'une chaise; la pièce en question a été aménagée avant la signature de l'acte. Le descriptif précisait que les travaux avaient été exécutés selon les règles de l'art, "en tenant compte des conditions générales et spéciales éditées par la S.I.A.", et que l'isolation phonique était "spécialement soignée ... afin de correspondre aux normes de haut standing pouvant donner toute garantie".
Une clause de l'acte disposait que les défauts de la chose vendue devaient être signalés par l'acheteuse dans le délai d'une année à compter de l'établissement de la garantie bancaire; cette dernière démarche a été effectuée au plus tôt le 1er janvier 1995.
b) Dame L._ a pris possession de la villa le 20 décembre 1994 et s'est adressée très rapidement au notaire, à l'architecte X._ et aux promoteurs pour se plaindre de la qualité de l'objet vendu en raison d'un "problème de bruit". En particulier, elle a téléphoné vers le 21 décembre 1994 au notaire, représentant des promoteurs, pour lui dire que, de manière générale, il y avait un problème de bruit et, partant, un défaut d'isolation phonique.
Le 24 mai 1995, dame L._ a versé aux promoteurs la somme de 180 000 fr. correspondant au solde dû sur le prix de vente.
Le problème de l'isolation phonique a fait l'objet d'une discussion lors d'une séance tenue le 19 septembre 1995 entre les promoteurs et l'acheteuse.
Les vendeurs ont fait parvenir à celle-ci, le 28 septembre 1995, un décompte des plus-values et moins-values laissant apparaître un solde de 36 684 fr.35 en leur faveur.
Dame L._ a fait part de son désaccord, le 20 novembre 1995, sollicitant une nouvelle rencontre entre les parties.
Cette entrevue s'est déroulée le 11 janvier 1996 en l'étude du notaire et elle a fait l'objet d'un compte rendu qui a été adressé aux intéressés. On peut y lire notamment ce qui suit:
"2/ Isolation phonique:
Si Madame L._ se plaint d'une mauvaise isolation qui lui permet d'entendre tousser et éternuer son voisin dans la chambre à coucher, par contre les promoteurs déclarent avoir, conformément aux règles de l'art, isolé l'immeuble.
En conclusion, les parties sont d'accord de mettre sur pied une expertise, dont le coût sera supporté par la personne qui succombera. Pour la bonne règle, il est fixé à Madame L._ un délai venant à échéance au 30.04.1996 pour mettre sur pied cette expertise.
Dans la négative, elle sera réputée avoir admis la situation.. "
Peu après cette entrevue, dame L._ a versé la somme de 25 734 fr.35, censée représenter le solde dû par elle, en mains du notaire qui l'a transmise aux promoteurs, compte tenu des assurances données par eux au sujet de l'exécution des travaux de réfection.
c) Le 21 mars 1996, d'entente entre les parties, dame L._ a mandaté Y._, architecte, pour qu'il établisse un rapport relatif aux défauts entachant la construction de la maison. Une réunion a eu lieu sur place le 25 avril 1996 en présence de X._ et de A._. A cette occasion, l'architecte X._ a admis l'existence d'un défaut d'isolation phonique et proposé d'examiner quelles mesures pourraient être prises pour y remédier.
Le procès-verbal que devait dresser X._ à l'attention de dame L._ et de Y._ ne l'a pas été en dépit de rappels du notaire datés des 28 mai et 26 novembre 1996.
D'après le rapport établi par Y._ le 20 décembre 1996 et transmis aux vendeurs en tout cas avant le 27 juin 1997, les exigences légales en matière de protection contre le bruit (Norme SIA 181, édition 1988) n'avaient pas été respectées. Le fait que dame L._ entendait les bruits causés par son voisin à partir de sa chambre à coucher s'expliquait par la mauvaise qualité de l'isolation phonique, inadaptée au standing de la maison vendue. Le retard apporté à la présentation de ce rapport a été le fait des vendeurs.
A la suite des interpellations émanant de dame L._ et de son conseil, du 22 janvier au 20 octobre 1997, les promoteurs ont finalement répondu, le 22 décembre 1997, que l'expertise convenue n'avait pas été effectuée dans le terme prévu.
Les frais engagés par dame L._ pour faire constater l'existence du défaut d'isolation phonique se sont élevés à 2202 fr.40.
B.- Le 27 février 1998, dame L._ a ouvert action contre A._, C._ et B._, concluant à ce qu'ils fussent condamnés à lui payer, avec les intérêts y afférents, une indemnité pour moins-value de 43 000 fr.
ainsi que des dommages-intérêts de 7000 fr.
Les défendeurs ont conclu au rejet de la demande.
En cours d'instruction, Z._, architecte, a été désigné comme expert judiciaire. Il a abouti aux mêmes conclusions que celles de Y._ quant à l'isolation phonique défectueuse et a chiffré à 35 000 fr. le coût des travaux de réfection nécessaires.
Par jugement du 8 janvier 2001, la IIe Cour civile du Tribunal cantonal du canton du Valais a condamné solidairement les défendeurs à payer à la demanderesse 35 000 fr.
avec intérêts à 5% l'an dès le 24 mai 1995 et 2202 fr.40 avec intérêts à 5% l'an dès le 15 février 1999. Qualifiant de vente immobilière le contrat signé le 31 août 1994, les premiers juges ont estimé que la demanderesse avait donné avis des défauts en temps utile et que, de toute manière, les défendeurs ne pouvaient de bonne foi exciper d'une tardiveté de l'avis des défauts, puisqu'ils avaient accepté, le 11 janvier 1996, de faire administrer une expertise, afin de mettre en évidence un éventuel défaut d'isolation phonique et d'effectuer les travaux de réfection nécessaires. La cour cantonale a fixé ensuite à 35 000 fr. la moins-value résultant de l'isolation phonique défectueuse. Enfin, elle a condamné les défendeurs à rembourser à la demanderesse les frais d'expertise hors procès se montant à 2202 fr.40.
C.- Les défendeurs interjettent un recours en réforme au Tribunal fédéral; ils y reprennent leurs conclusions libératoires.
La demanderesse propose le rejet du recours et la confirmation du jugement attaqué.

Considérant en droit :
1.- a) Saisi d'un recours en réforme, le Tribunal fédéral fonde son arrêt sur les faits tels qu'ils ont été constatés par la dernière autorité cantonale, à moins que des dispositions fédérales en matière de preuve n'aient été violées, qu'il y ait lieu de rectifier des constatations reposant sur une inadvertance manifeste (art. 63 al. 2 OJ) ou qu'il faille compléter les constatations de l'autorité cantonale parce que celle-ci n'a pas tenu compte de faits pertinents et régulièrement allégués (art. 64 OJ; <ref-ruling> consid. 2a et les arrêts cités).
Il ne peut être présenté de griefs contre les constatations de fait (art. 55 al. 1 let. c OJ; <ref-ruling> consid. 2a p. 65; <ref-ruling> consid. 6c), ni contre l'appréciation des preuves à laquelle s'est livrée l'autorité cantonale (<ref-ruling> consid. 2a et les arrêts cités).
Les faits nouveaux, soit notamment ceux qui ne figurent pas dans la décision attaquée, sont irrecevables (<ref-ruling> consid. 2a et les arrêts cités).
b) Sur plus d'un point, les défendeurs ont méconnu les règles sus-indiquées, comme on le soulignera à l'occasion de l'examen des griefs articulés par eux. Dans cette mesure, leur recours est irrecevable.
2.- a) Dans un premier moyen, les défendeurs reprochent à la cour cantonale d'avoir examiné le cas à la lumière des dispositions régissant le contrat de vente, alors qu'elle aurait dû appliquer, selon eux, les règles du contrat d'entreprise.
b) En argumentant ainsi, les défendeurs formulent un grief qui n'a aucune incidence sur le dispositif du jugement attaqué et qui est en conséquence irrecevable, puisqu'ils ne peuvent faire valoir aucun intérêt à son examen (Poudret, COJ, n. 1.6.4 ad art. 43 OJ).
De fait, la garantie pour défauts de l'ouvrage (<ref-law>) trouve son pendant dans la garantie du vendeur à raison des défauts entachant la chose vendue (<ref-law>; <ref-ruling> consid. 2 p. 32; Gauch, Le contrat d'entreprise, adaptation française par Benoît Carron, n. 1349; Engel, Contrats de droit suisse, 2e éd., p. 444), si bien que, à l'exemple de l'acheteur, le maître de l'ouvrage a le devoir de vérifier celui-ci et d'aviser immédiatement l'entrepreneur des défauts qu'il constate (Tercier, Les contrats spéciaux, 2e éd., n. 3518). De même, comme les règles sur la garantie en matière de vente et de contrat d'entreprise sont de droit dispositif, les parties peuvent y déroger dans les deux cas (Tercier, op. cit. , n. 513 et 3486); il en est en particulier ainsi des incombances du maître de l'ouvrage (Tercier, op. cit. , n. 3520).
Peu importe dès lors, relativement au problème de l'avis des défauts, que les premiers juges aient qualifié de vente plutôt que de contrat mixte la convention liant les parties.
3.- a) Les défendeurs contestent ensuite la validité de l'avis des défauts donné par la demanderesse.
A les en croire, cet avis aurait été formulé tardivement, soit postérieurement au délai d'une année dès la fourniture de la garantie bancaire intervenue au plus tard le 1er janvier 1995. En effet, la seule réclamation attestée par une pièce du dossier serait celle que la demanderesse avait élevée au cours de la séance tenue le 11 janvier 1996 en l'étude du notaire. La demanderesse, qui assumait le fardeau de l'allégation et de la preuve à cet égard, n'aurait rien établi quant à une réclamation antérieure. Admettre, dans ces circonstances, que l'avis des défauts a été donné en temps utile serait contraire à l'<ref-law>.
Les défendeurs contestent également que l'avis des défauts respectât, quant à son contenu, les exigences posées par la jurisprudence en la matière (<ref-ruling> consid. 1a p. 175 et les références). Ils soulignent à ce propos que la demanderesse s'est contentée de signaler qu'elle entendait tousser et éternuer son voisin dans la villa contiguë.
S'agissant du destinataire de l'avis des défauts, les défendeurs relèvent, par ailleurs, que cet avis aurait dû leur être adressé personnellement et non pas pas l'intermédiaire du notaire, lequel n'était pas habilité à le recevoir pour leur compte.
Les défendeurs soutiennent, en outre, que le local litigieux ne figurait pas sur le descriptif annexé à l'acte de vente - circonstance qui aurait échappé par inadvertance aux premiers juges -; qu'il n'avait jamais été prévu que cette pièce puisse servir de chambre à coucher; partant, que le local en question ne pouvait pas être soumis aux mêmes exigences en matière d'isolation phonique que les autres locaux mentionnés dans ce descriptif.
Enfin, toujours selon les défendeurs, la demanderesse aurait accepté l'ouvrage tel quel puisqu'elle a payé entièrement le solde réclamé par eux.
b) aa) Conformément aux règles de la vente mobilière, applicables par analogie aux ventes d'immeubles (<ref-law>), l'acheteur doit vérifier l'état de la chose reçue aussitôt qu'il le peut d'après la marche habituelle des affaires et aviser sans délai le vendeur s'il découvre des défauts dont celui-ci est garant (<ref-law>). S'il ne procède pas ainsi, la chose est tenue pour acceptée, à moins qu'il ne s'agisse de défauts que l'acheteur ne pouvait découvrir à l'aide des vérifications usuelles (<ref-law>).
L'avis des défauts, qui n'est soumis à aucune forme particulière, doit être motivé en fait. A tout le moins, il indiquera exactement les défauts et exprimera l'idée que l'acheteur ne tient pas la chose vendue pour conforme au contrat et invoque la garantie du vendeur; l'acheteur ne saurait se borner à exposer des considérations générales (<ref-ruling> consid. 1a; Tercier, op. cit. , n. 428).
L'<ref-law>, d'après lequel l'acheteur doit aviser le vendeur sans délai, est d'application stricte (<ref-ruling> consid. 1a et les nombreuses références). En vertu de la règle générale de l'<ref-law>, il incombe à l'acheteur, qui se prévaut des <ref-law>, de prouver que l'avis des défauts a été donné en temps utile; il lui appartient aussi d'établir à quel moment il a eu connaissance des défauts, à qui et comment il les a signalés (<ref-ruling> consid. 3a; <ref-ruling> consid. 1a in fine).
bb) En l'occurrence, il n'apparaît pas que la cour cantonale ait violé ces principes et la tentative des défendeurs de démontrer le contraire revient pour l'essentiel à présenter la situation de fait d'une autre manière que celle qui ressort du jugement attaqué, ce qui est inadmissible dans la procédure du recours en réforme.
Les juges précédents ont constaté que la demanderesse avait fait part très rapidement, dans les jours suivant la prise de possession, de l'existence d'un défaut d'isolation phonique au notaire et que ce dernier avait aussitôt transmis les doléances de l'acheteuse aux vendeurs. Les allégations contraires de ceux-ci sont irrecevables.
Quant au contenu de l'avis des défauts, on ne voit pas ce qui aurait pu être exigé de plus de la demanderesse, s'agissant d'un problème d'isolation phonique, que l'indication du type de bruit (éternuements) provenant de la pièce contiguë de son voisin. Le reste, c'est-à-dire le point de savoir si le bruit allégué dépassait la limite de décibels admissible, était affaire d'expertise.
Sur le vu de la correspondance échangée et des discussions relatives aux défauts et à l'établissement des décomptes définitifs, la cour cantonale a admis que le notaire était autorisé à recevoir l'avis des défauts en sa qualité de représentant des promoteurs. Il s'agit là d'une déduction tirée des preuves administrées, laquelle relève donc du domaine des faits et est soustraite, comme telle, à la connaissance de la juridiction fédérale de réforme. Par conséquent, les défendeurs contestent en vain que le notaire ait eu le pouvoir de recevoir l'avis des défauts pour leur compte. Quoi qu'il en soit, il est également établi que l'officier public leur a transmis sans délai les plaintes formulées par la demanderesse.
Il est exact, comme le soulignent avec raison les défendeurs, que le local litigieux ne figure pas sur le descriptif, daté du 16 février 1993, annexé à l'acte de vente.
La constatation inverse, faite à la page 3 du jugement attaqué, procède d'une inadvertance. Celle-ci n'a toutefois aucune incidence sur le sort du procès. Il ressort, en effet, du jugement cantonal, étayé sur ce point par les pièces du dossier, que le local en question, soit la chambre n° 4, résulte d'une modification du projet initial, approuvée le 13 décembre 1993 par la commune, et qu'il a été aménagé avant la signature de l'acte de vente. Dès lors, si les défendeurs entendaient réduire, pour ce local, les exigences en matière d'isolation phonique qu'ils s'étaient engagés à respecter dans ledit acte, il leur appartenait de modifier dans ce sens le descriptif susmentionné, faute de quoi l'acheteuse pouvait admettre de bonne foi que les indications touchant l'isolation phonique, fournies sans réserve dans ce document, valaient aussi pour la chambre n° 4.
La cour cantonale ayant constaté que l'avis des défauts avait été donné valablement en l'espèce, on ne discerne pas en quoi elle aurait pu violer l'<ref-law>. Le grief correspondant tombe manifestement à faux.
Pour le surplus, soutenir, comme le font les défendeurs, que la demanderesse aurait accepté l'ouvrage avec ses défauts dès lors qu'elle avait payé le solde du prix de vente confine à la témérité, tant il est évident, sur la base des constatations de la cour cantonale, que l'intéressée n'a jamais manifesté pareille intention.
c) En tout état de cause, force est d'admettre que les défendeurs, qui ont accepté, lors de l'entrevue du 11 janvier 1996, de soumettre à expertise le problème d'isolation phonique soulevé par la demanderesse et d'assumer les frais d'expertise au cas où celle-ci tournerait à leur désavantage, ont manifesté de la sorte leur volonté d'entrer en matière. En invoquant ultérieurement la tardiveté de l'avis des défauts, ils ont adopté une attitude incompatible avec les règles de la bonne foi, que la cour cantonale a sanctionnée à bon droit.
Enfin, comme les défendeurs étaient responsables du retard dans l'établissement de cette expertise, ils ne sauraient opposer une telle circonstance à la demanderesse.
4.- Cela étant, le jugement déféré, qui n'est pas critiqué sur d'autres points, sera confirmé.
Les défendeurs, qui succombent, supporteront solidairement les frais et dépens de la procédure fédérale (art. 156 al. 1 et 7 OJ, art. 159 al. 1 et 5 OJ).

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours dans la mesure où il est recevable et confirme le jugement attaqué;
2. Met un émolument judiciaire de 2000 fr. à la charge des recourants, solidairement entre eux;
3. Condamne solidairement les recourants à payer à l'intimée une indemnité de 2000 fr. à titre de dépens;
4. Communique le présent arrêt en copie aux mandataires des parties et à la IIème Cour civile du Tribunal cantonal valaisan.
_
Lausanne, le 4 septembre 2001 ECH
Au nom de la Ie Cour civile
du TRIBUNAL FEDERAL SUISSE:
Le Président,
Le Greffier,