A.- Par jugement du 10 juin 1999, le Tribunal de première instance de Genève condamna la SI Maison Royale S.A. à payer à PMG, Pierre, Marbre, Granit S.A. la somme de 70 002 fr.25 en capital, autorisant par ailleurs l'inscription définitive d'une hypothèque légale. Saisie d'un appel ordinaire, la Chambre civile de la Cour de justice genevoise, par arrêt du 10 décembre 1999, confirma intégralement le jugement entrepris. La SI Maison Royale S.A., entrée en liquidation, ainsi que la PPE Maison Royale, soit André Falletti, Barbro Heinz, Shalabi-Alfadl Ahlam, Joy Visentin, A.A. Al Sulaiman, Saoud Bahwan, Jean-Bernard Lyon, Ettehadieh Maryam, Erminia Landau, Terry et Axelle Mesritz (ci-après: les propriétaires par étages), formèrent un recours de droit public contre cette décision. Par arrêt du 22 mars 2000, le Tribunal fédéral considéra que les conclusions prises par les propriétaires par étages étaient irrecevables et rejeta dans la mesure de sa recevabilité le recours interjeté par la SI Maison Royale S.A. en liquidation. B.- Le 19 janvier 2000, la SI Maison Royale S.A. en liquidation, ainsi que les propriétaires par étages déposèrent auprès du Tribunal de première instance une demande de révision dirigée contre le jugement rendu par cette autorité le 10 juin 1999. Par jugement du 30 mai 2000, le Tribunal de première instance rejeta la demande de révision. Saisie d'un appel, la Chambre civile de la Cour de justice genevoise, par arrêt du 24 octobre 2000, annula le jugement entrepris et déclara la demande de révision irrecevable, considérant qu'elle n'aurait pas dû être adressée au Tribunal de première instance contre le jugement de ce tribunal du 10 juin 1999, mais à la Cour de justice contre l'arrêt du 10 décembre 1999, qui avait confirmé le jugement entrepris et s'était substitué à lui. C.- SI Maison Royale S.A. en liquidation et les propriétaires par étages forment un recours de droit public au Tribunal fédéral contre l'arrêt précité. Invoquant la violation de divers droits constitutionnels, ils concluent à l'annulation de la décision attaquée. La requête d'effet suspensif présentée par les recourants a été rejetée par ordonnance du Président de la Ie Cour civile du 28 novembre 2000. L'intimée conclut au rejet du recours, alors que la cour cantonale se réfère aux considérants de son arrêt.