A.- Par contrat du 16 octobre 1996, la communauté des copropriétaires X._ a remis à bail à dame B._ des locaux d'une surface d'environ 68,5 m2 destinés à l'exploitation d'un bar à café dans ce centre commercial.
Des plans avaient été présentés à la locataire, datés du 26 juin 1996, qui ne faisaient pas apparaître l'existence d'un commerce concurrent dans les environs. Les plans portaient cependant tous la mention: "ce document est donné à titre indicatif et ne constitue en aucun cas un document contractuel".
L'art. 1.2 du contrat signé le 16 octobre 1996 prévoit expressément que "le locataire reconnaît n'être au bénéfice d'aucune exclusivité pour cette destination ni pour ses produits et/ou services de la part du bailleur".
Par avenant du 4 avril 1997, A._ est devenu colocataire, aux côtés de dame B._.
En septembre 1998, la communauté bailleresse a attribué un local situé à proximité pour l'exploitation d'un autre café. Initialement, cet emplacement était réservé à une banque.
B.- Estimant que cette présence concurrente constituait un défaut de la chose louée, les locataires ont déposé devant les tribunaux genevois une demande de baisse de loyer qui a été rejetée successivement par un jugement du Tribunal des baux et loyers rendu le 3 février 2000, puis par un arrêt rendu le 6 novembre 2000 par la Chambre d'appel en matière de baux et loyers.
C.- A._ et dame B._ recourent en réforme au Tribunal fédéral. Soutenant que la location d'un local proche pour une exploitation concurrente donnait lieu à un défaut de la chose louée, ils concluent à l'annulation de l'arrêt attaqué et reprennent leurs conclusions sur le fond, réclamant en substance une baisse de loyer de 20% à compter du 1er septembre 1998.
La communauté intimée invite le Tribunal fédéral à rejeter le recours et débouter les demandeurs.

Considérant en droit :
1.- a) Selon l'<ref-law>, le bailleur est tenu de délivrer la chose dans un état approprié à l'usage pour lequel elle a été louée, et de l'entretenir en cet état.
La survenance d'un défaut en cours de bail peut justifier une réduction proportionnelle du loyer (<ref-law>).
La question litigieuse est de savoir si la chose louée est affectée d'un défaut.
La chose est défectueuse si elle ne se trouve pas dans l'état convenu ou promis, d'une manière défavorable au locataire (cf. ATF publié in SJ 1997 p. 661 consid. 3a; Higi, Commentaire zurichois, n° 27 ad <ref-law>; Weber/Zihlmann, Commentaire bâlois, n° 1 ad <ref-law>; SVIT-Kommentar, 2e éd., Vorbemerkungen zu Art. 258-259i n° 23; Lachat, Le bail à loyer, p. 141 n° 1.1).
S'agissant plus précisément de locaux commerciaux, la présence d'un concurrent dans le voisinage ne peut être considérée comme un défaut que si le bailleur a promis qu'il n'y en aurait pas (qualité promise) (Lachat, op. cit. , p. 145 n° 1.7; SVIT-Kommentar, 2e éd., n° 23 ad <ref-law>).
b) Il faut donc déterminer ce que les parties avaient en vue quant à l'état de la chose louée.
Il n'apparaît pas que la cour cantonale ait déterminé la volonté réelle des parties; elle a au contraire procédé à une interprétation des déclarations faites selon le principe de la confiance (sur cette notion: cf. <ref-ruling> consid. 5b; <ref-ruling> consid. 2a). Il s'agit là d'une question de droit que le Tribunal fédéral, saisi d'un recours en réforme, examine librement (<ref-ruling> consid. 2b; <ref-ruling> consid. 5a; <ref-ruling> consid. 3a).
c) En l'espèce, le contrat indique expressément que la bailleresse ne garantit aucune exclusivité. L'intimée se réservait ainsi clairement la possibilité de louer des locaux disponibles à une entreprise concurrente. La clause contractuelle ne peut pas être comprise de bonne foi dans un sens différent. Il ne ressort pas des constatations cantonales - qui lient le Tribunal fédéral saisi d'un recours en réforme (art. 63 al. 2 OJ) - que la bailleresse, lors des pourparlers, aurait donné des assurances orales s'écartant du texte écrit qui a été signé. Quant aux plans qui ont été présentés, ils portent la mention qu'ils n'ont pas la valeur de documents contractuels. On doit en déduire, selon le principe de la confiance, que la bailleresse ne prenait aucun engagement à cet égard. Les plans montraient l'état actuel du projet, mais n'excluaient nullement qu'à la suite d'un désistement ou d'un départ, les locaux qui y figurent soient ensuite attribués à une autre entreprise.
Admettre dans ces circonstances que la bailleresse n'a pas promis l'absence de concurrent ne viole pas les règles du droit fédéral sur l'interprétation des déclarations de volonté selon le principe de la confiance.
En l'absence d'une qualité promise, la cour cantonale n'a pas violé le droit fédéral - selon les principes rappelés ci-dessus - en concluant que la chose n'était pas défectueuse et que la demande devait en conséquence être rejetée.
2.- Les frais et dépens doivent être mis à la charge des recourants qui succombent (art. 156 al. 1 et 7 et art. 159 al. 1 et 5 OJ).

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours et confirme l'arrêt attaqué;
2. Met un émolument judiciaire de 2000 fr. à la charge des recourants, débiteurs solidaires;
3. Dit que les recourants, solidairement entre eux, verseront aux intimés une indemnité de 2500 fr. à titre de dépens;
4. Communique le présent arrêt en copie aux mandataires des parties et à la Chambre d'appel en matière de baux et loyers du canton de Genève.
_
Lausanne, le 19 mars 2001 ECH
Au nom de la Ie Cour civile
du TRIBUNAL FEDERAL SUISSE:
Le Président,
La Greffière,