A.- Par jugement du 10 juin 1999, le Tribunal de première instance de Genève condamna la SI Maison Royale S.A.
à payer à PMG, Pierre, Marbre, Granit S.A. la somme de 70 002 fr.25 en capital, autorisant par ailleurs l'inscription définitive d'une hypothèque légale.
Saisie d'un appel ordinaire, la Chambre civile de la Cour de justice genevoise, par arrêt du 10 décembre 1999, confirma intégralement le jugement entrepris.
La SI Maison Royale S.A., entrée en liquidation, ainsi que la PPE Maison Royale, soit André Falletti, Barbro Heinz, Shalabi-Alfadl Ahlam, Joy Visentin, A.A. Al Sulaiman, Saoud Bahwan, Jean-Bernard Lyon, Ettehadieh Maryam, Erminia Landau, Terry et Axelle Mesritz (ci-après: les propriétaires par étages), formèrent un recours de droit public contre cette décision. Par arrêt du 22 mars 2000, le Tribunal fédéral considéra que les conclusions prises par les propriétaires par étages étaient irrecevables et rejeta dans la mesure de sa recevabilité le recours interjeté par la SI Maison Royale S.A. en liquidation.
B.- Le 19 janvier 2000, la SI Maison Royale S.A.
en liquidation, ainsi que les propriétaires par étages déposèrent auprès du Tribunal de première instance une demande de révision dirigée contre le jugement rendu par cette autorité le 10 juin 1999.
Par jugement du 30 mai 2000, le Tribunal de première instance rejeta la demande de révision.
Saisie d'un appel, la Chambre civile de la Cour de justice genevoise, par arrêt du 24 octobre 2000, annula le jugement entrepris et déclara la demande de révision irrecevable, considérant qu'elle n'aurait pas dû être adressée au Tribunal de première instance contre le jugement de ce tribunal du 10 juin 1999, mais à la Cour de justice contre l'arrêt du 10 décembre 1999, qui avait confirmé le jugement entrepris et s'était substitué à lui.
C.- SI Maison Royale S.A. en liquidation et les propriétaires par étages forment un recours de droit public au Tribunal fédéral contre l'arrêt précité. Invoquant la violation de divers droits constitutionnels, ils concluent à l'annulation de la décision attaquée.
La requête d'effet suspensif présentée par les recourants a été rejetée par ordonnance du Président de la Ie Cour civile du 28 novembre 2000.
L'intimée conclut au rejet du recours, alors que la cour cantonale se réfère aux considérants de son arrêt.

Considérant en droit :
1.- a) Dans sa correspondance, la SI Maison Royale S.A. en liquidation évoque un jugement de faillite rendu à son encontre, mais ajoute qu'elle va faire appel de cette décision et qu'elle a déposé auprès de l'office des faillites le montant en poursuite. Le Tribunal fédéral ne dispose donc pas d'éléments suffisants pour constater qu'elle serait actuellement en état de faillite, de sorte qu'il n'y a pas lieu de suspendre l'examen du recours de droit public (cf. <ref-law>; <ref-ruling> consid. 1 et 2).
b) Le recours de droit public au Tribunal fédéral est ouvert contre une décision cantonale pour violation des droits constitutionnels des citoyens (art. 84 al. 1 let. a OJ).
La décision attaquée, fondée sur la procédure cantonale, revêt un caractère final et n'est susceptible d'aucun autre moyen de droit sur le plan fédéral ou cantonal, de sorte que la règle de la subsidiarité du recours de droit public est respectée (art. 84 al. 2 et 86 al. 1 OJ).
La SI Maison Royale S.A. en liquidation est personnellement touchée par la décision attaquée, puisque celle-ci a pour effet d'exclure la révision d'une procédure qui a conduit à sa condamnation à paiement; elle a donc un intérêt personnel, actuel et juridiquement protégé (protection du patrimoine) à ce que cette décision n'ait pas été prise en violation de ses droits constitutionnels. En conséquence, elle a qualité pour recourir (art. 88 OJ). Dès lors qu'il faut de toute manière, sur le recours de la SI Maison Royale S.A. en liquidation, examiner l'ensemble des griefs soulevés en commun par les recourants, il est vain - vu l'issue du recours - de se demander si les propriétaires par étages ont également qualité pour recourir.
c) Saisi d'un recours de droit public, le Tribunal fédéral n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours (art. 90 al. 1 let. b OJ; <ref-ruling> consid. 1b et les références; cf. également <ref-ruling> consid. 2a).
2.- a) Les recourants invoquent le droit à un procès équitable, qui est garanti par l'art. 6 par. 1 CEDH. Ils ne développent cependant aucune argumentation à ce sujet.
Il faut donc en déduire que ce grief se confond avec les autres et n'a pas de portée propre ou, en tout cas, qu'il n'est pas exposé de manière suffisante pour qu'il soit possible d'entrer en matière (art. 90 al. 1 let. b OJ).
b) Les recourants se plaignent à titre principal d'une violation arbitraire des règles de la procédure cantonale.
aa) Selon la jurisprudence, l'arbitraire ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable; le Tribunal fédéral ne s'écarte de la décision attaquée que lorsque celle-ci est manifestement insoutenable, qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité. Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que la motivation formulée soit insoutenable, il faut encore que la décision apparaisse arbitraire dans son résultat (<ref-ruling> consid. 3a; <ref-ruling> consid. 2a; <ref-ruling> consid. 3a, 129 consid. 5b).
bb) Selon l'art. 166 al. 2 de la loi genevoise de procédure civile du 10 avril 1987 (ci-après: LPC gen.), une demande en révision doit être portée "devant le tribunal qui a rendu le jugement" (cf. également, en cas d'appel, l'<ref-law> gen.).
Lorsqu'un jugement rendu par le Tribunal de première instance a fait l'objet d'un appel à la Cour de justice, il faut distinguer entre l'appel ordinaire (contre un jugement rendu en premier ressort: <ref-law> gen.) et l'appel extraordinaire (contre un jugement rendu en dernier ressort:
<ref-law> gen.).
Cette distinction est rendue nécessaire par l'<ref-law> gen. qui prévoit que l'appel interjeté selon l'<ref-law> gen. n'empêche pas que le jugement soit réputé avoir force de chose jugée tant qu'il n'a pas été infirmé. Il faut en déduire qu'en cas d'appel extraordinaire, l'arrêt de la Cour de justice ne se substitue au jugement de première instance que s'il infirme ce jugement; dans toute autre hypothèse, le jugement de première instance demeure en force de chose jugée. La doctrine et la jurisprudence cantonale en ont conclu qu'une demande de révision, s'il y a eu appel extraordinaire, doit être dirigée contre le jugement de première instance (et non pas contre l'arrêt de la Cour de justice), sauf si l'appel a été admis (Edouard Barde, note in SJ 1945 p. 31 s.; cf. également: SJ 1945 p. 25).
A la différence de l'appel extraordinaire (cf. <ref-law> gen.), l'appel ordinaire suspend en principe l'exécution du jugement de première instance (<ref-law> gen.), qui n'est pas réputé avoir force de chose jugée (<ref-law> gen. a contrario). Si l'appel est recevable, la cour cantonale confirme ou infirme, en tout ou en partie, le jugement dont l'appel a été porté devant elle (<ref-law> gen.). Il en a été déduit qu'en cas d'appel ordinaire, l'arrêt de la Cour de justice, si elle entre en matière, se substitue toujours au jugement de première instance (Bertossa/Gaillard/Guyet/Schmidt, Commentaire de la loi de procédure civile du canton de Genève du 10 avril 1987, n. 3 ad <ref-law> gen.). Il en résulte qu'en cas d'appel ordinaire, le demandeur en révision doit s'adresser à la Cour de justice, parce que son arrêt s'est substitué au jugement de première instance (Bertossa/Gaillard/Guyet/Schmidt, op. cit. , loc.
cit.).
Cette solution est d'ailleurs conforme à celle qui prévaut en Suisse, à savoir qu'une demande de révision doit être adressée à l'autorité qui a statué en dernière instance ordinaire (Max Guldener, Schweizerisches Zivilprozessrecht, Zurich 1979, p. 532 note 13; cf. également: Frank/Sträuli/Messmer, Kommentar zur zürcherischen Zivilprozessordnong, 3ème éd., § 295 n. 2). La conception n'est pas différente sur le plan fédéral. En effet, si le Tribunal fédéral entre en matière sur un recours en réforme (qui constitue une voie de droit ordinaire), il prend toujours soin, s'il rejette le recours, d'ajouter qu'il confirme l'arrêt attaqué, pour marquer ainsi que son arrêt se substitue à la décision cantonale; une éventuelle demande de révision doit alors être adressée au Tribunal fédéral et dirigée contre l'arrêt fédéral (Corboz, Le recours en réforme au Tribunal fédéral, SJ 2000 II p. 69; cf. également: <ref-ruling> consid. 1).
En l'espèce, il n'est pas contesté que le jugement de première instance a fait l'objet d'un appel ordinaire, de sorte que l'arrêt de la Cour de justice qui a confirmé le jugement de première instance s'est substitué à lui. Ainsi, lorsque la demande de révision a été déposée, le jugement de première instance avait déjà été remplacé par l'arrêt de la Cour de justice et ne déployait plus d'effet juridique. En conséquence, la demande de révision dirigée contre ce jugement était sans objet et ne pouvait qu'être déclarée irrecevable.
On ne voit pas en quoi l'arrêt de la cour cantonale aurait fait une interprétation ou une application arbitraires des dispositions de la procédure cantonale.
cc) Invoquant une violation insoutenable des art. 97 et 98 LPC gen. , les recourants reprochent à la cour cantonale d'avoir soulevé d'office une question de compétence.
Il ne se posait en l'espèce aucune question de compétence à raison du lieu, de sorte que la Cour de justice n'a pu transgresser l'<ref-law> gen.
Quant à la compétence en raison de la matière, l'<ref-law> gen. n'est d'aucun secours aux recourants, puisque cette disposition prévoit que le juge doit constater même d'office son incompétence.
De toute manière, le grief est hors propos. La demande de révision était dirigée contre le jugement de première instance. Or, ce jugement, qui avait été remplacé par l'arrêt de la Cour de justice, ne déployait plus aucun effet juridique. La demande n'avait ainsi pas d'objet et le juge ne pouvait que le constater.
dd) Saisie d'un appel contre le jugement rendu sur demande de révision, la cour cantonale a observé que l'appel était recevable et permettait un libre examen; ensuite, elle est parvenue à la conclusion que la demande de révision était irrecevable. Contrairement à ce que soutiennent les recourants - qui confondent manifestement la recevabilité de l'appel avec la recevabilité de la demande de révision -, cette argumentation n'est pas contradictoire et, par voie de conséquence, ne tombe pas sous le coup de l'interdiction de l'arbitraire.
c) Invoquant une violation du droit d'être entendu garanti par l'art. 29 al. 2 Cst. , les recourants soutiennent que la cour cantonale aurait dû les inviter à s'exprimer sur la question avant de conclure à l'irrecevabilité de la demande de révision.
Il est incontestable que les recourants ont pu s'exprimer sans aucune restriction dans leur acte d'appel.
Comme les recourants l'expliquent eux-mêmes, le juge n'est obligé d'inviter spécialement les parties à s'exprimer que s'il envisage de retenir un moyen juridique dont elles ne pouvaient pas prévoir qu'il serait pris en considération (<ref-ruling> consid. 1a; <ref-ruling> consid. 1b et les références). Le droit d'être entendu n'exige évidemment pas que le juge attire l'attention des parties sur les conséquences juridiques de leurs propres allégués.
En l'espèce, il était manifeste que la cour cantonale devait se demander si le jugement attaqué en révision était susceptible d'être révisé. En particulier, elle devait examiner s'il n'avait pas été remplacé par une autre décision.
Comme les faits étaient patents, l'art. 29 al. 2 Cst.
n'obligeait pas la cour cantonale à attirer l'attention des parties sur les conditions élémentaires de recevabilité ou d'admissibilité d'une demande de révision. Ce droit constitutionnel n'a donc pas été violé.
d) Les recourants se plaignent d'un déni de justice, dont la prohibition découle des art. 29 al. 1 et 30 al. 1 Cst.
Il y a déni de justice lorsqu'une autorité se refuse à statuer bien qu'elle y soit obligée (<ref-ruling>; <ref-ruling> consid. 3a).
In casu, la cour cantonale a statué sur les conclusions prises devant elle en déclarant la demande de révision irrecevable pour des raisons de procédure cantonale. Il n'y a donc pas trace d'un déni de justice. Que les recourants ne soient pas d'accord avec la décision rendue n'a aucun rapport avec la notion de déni de justice.
e) Les recourants se plaignent enfin d'un formalisme excessif.
Le formalisme excessif est une forme particulière du déni de justice. Il est réalisé lorsqu'il est prévu pour une procédure des règles de forme rigoureuses, sans que cette rigueur ne soit matériellement justifiée. Cependant, le Tribunal fédéral a toujours déclaré que les formes procédurales sont nécessaires dans la mise en oeuvre des voies de droit, pour assurer le déroulement de la procédure conformément au principe de l'égalité de traitement, ainsi que pour garantir l'application du droit matériel; toutes les exigences formelles ne se trouvent donc pas en contradiction avec les art. 29 al. 1 et 30 al. 1 Cst. Il y a formalisme excessif seulement lorsque la stricte application des règles de procédure ne se justifie par aucun intérêt digne de protection, devient une fin en soi et empêche ou complique de manière insoutenable la réalisation du droit matériel (ATF <ref-ruling> consid. 3a; <ref-ruling> consid. 2b/aa et les références).
On cherche vainement en quoi il serait excessivement formaliste de constater, d'une part, que l'on ne peut pas réviser un jugement qui a déjà été remplacé par une autre décision et, d'autre part, que l'autorité inférieure ne peut pas réviser les décisions de son autorité supérieure. L'exercice du droit n'était pas rendu exagérément difficile, puisqu'il suffisait en l'occurrence de consulter le commentaire de la loi de procédure cantonale (cf. Bertossa/Gaillard/Guyet/Schmidt, op. cit. , n. 3 ad <ref-law> gen.). Le grief est privé de tout fondement.
On aurait pu tout au plus se demander si la requête en révision n'aurait pas dû être interprétée comme une demande dirigée contre l'arrêt du 10 décembre 1999 et transmise d'office à la Cour de justice (cf. <ref-ruling> consid. 3c et 4); il n'y a toutefois pas lieu d'examiner la question sous cet angle, puisque - comme on l'a vu - le Tribunal fédéral, saisi d'un recours de droit public, ne peut examiner que les griefs invoqués et suffisamment motivés dans l'acte de recours. Or, le moyen n'a pas été soulevé.
3.- Le recours doit être rejeté dans la mesure de sa recevabilité. Vu l'issue du recours, les frais et dépens doivent être mis solidairement à la charge des recourants qui succombent (art. 156 al. 1 et 7, art. 159 al. 1 et 5 OJ).

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours dans la mesure où il est recevable;
2. Met un émolument judiciaire de 4000 fr. solidairement à la charge des recourants;
3. Dit que les recourants verseront solidairement à l'intimée une indemnité de 5000 fr. à titre de dépens;
4. Communique le présent arrêt en copie aux mandataires des parties et à la Chambre civile de la Cour de justice genevoise.
_
Lausanne, le 10 janvier 2001 ECH
Au nom de la Ie Cour civile
du TRIBUNAL FEDERAL SUISSE:
Le Président, Le Greffier,