Faits: A. X._ et dame X._ (ci-après : les époux X._) sont propriétaires d'une unité d'étage au sein de la propriété par étages Y._ (ci-après : la PPE Y._), à raison de 45,9 millièmes. Cet immeuble est géré depuis le mois d'octobre 2001 par A._ SA, car la précédente régie B._ SA avait rencontré des problèmes financiers qui l'ont par la suite menée à la faillite, dans le cadre de laquelle la PPE Y._ a produit une créance de 160'000 fr. L'ancien administrateur de B._ SA a été inculpé le 10 septembre 2003 d'abus de confiance et de gestion déloyale pour s'être approprié sans droit un montant compris entre 74'087 fr. 40 et 119'089 fr. 05 dans le cadre de la gestion de la PPE Y._. B. Le 12 décembre 2001 s'est tenue une assemblée générale extraordinaire de la PPE Y._ ayant notamment pour objet de régler le transfert de l'administration entre les deux régies. À cette occasion, A._ SA a expliqué que les pièces comptables lui avaient été remises en vrac et qu'elles avaient dû être répertoriées et triées. Il résultait de l'analyse effectuée que la comptabilité ne reflétait pas la réalité; il semblait toutefois établi que 42'641 fr. 20 avaient été payés aux fournisseurs, au lieu de 61'428 fr. 40, et que 39'008 fr. 30 étaient dus à la copropriété. C. Lors de l'assemblée générale ordinaire du 6 juin 2002, les comptes 2001 de la PPE Y._ ont été approuvés tels que présentés, à la majorité, moyennant deux abstentions. Il ressort du procès-verbal que la somme totale des charges de la copropriété s'élevait à 117'218 fr. 05, que les encaissements versés chez A._ SA totalisaient 53'887 fr. et que la somme globale à payer était ainsi de 63'331 fr. 05. À la majorité, moyennant l'opposition des époux X._, l'assemblée a renoncé à prélever les liquidités nécessaires du fonds de rénovation pour solder les factures 2001, ce qui signifiait que chaque copropriétaire recevrait un bordereau de paiement supplémentaire. Il était précisé que la régie adresserait un décompte individuel de charges à chaque propriétaire d'étages tenant compte des versements respectifs de chacun, les acomptes versés à B._ SA ne pouvant pas être déduits. Le 4 juillet 2002, A._ SA a adressé aux époux X._ un décompte de charges pour l'année 2001, aux termes duquel ceux-ci restaient devoir à la copropriété la somme de 2'086 fr. 05. Les précités ne se sont pas acquittés de cette somme, estimant que celle-ci n'avait pas été correctement calculée, car le calcul n'intégrait pas le montant de 42'641 fr. 10 payé à B._ SA et mentionné dans le procès-verbal de l'assemblée générale extraordinaire du 12 décembre 2001. Ayant été mis en demeure par A._ SA, le 19 mai 2003, de verser le montant supplémentaire dû, les époux X._ ont persisté à contester le décompte du 4 juillet 2002, demandant que soient pris en compte les paiements des charges effectués par B._ SA pour l'exercice 2001, qui devaient être imputés à due concurrence. A._ SA a répété qu'elle ne pouvait pas donner suite à la déduction demandée, car les 42'641 fr. 10 réclamés aux copropriétaires correspondaient à des factures payées par B._ SA aux fournisseurs de services ou aux entreprises et ne pouvaient donc pas être remboursés à la copropriété. D. À l'assemblée générale du 27 avril 2004, la PPE Y._ a décidé la dissolution d'une somme de 42'100 fr. 20, correspondant aux charges pour 2001 effectivement payées par B._ SA, par remboursement aux copropriétaires qui avaient participé à la constitution de ce montant. A._ SA a expliqué que, dans un premier temps, la totalité des factures relatives aux charges de la copropriété 2001 avait été présentée aux copropriétaires; la proposition susmentionnée résultait de l'obtention par les fournisseurs de la confirmation qu'ils avaient bien été payés par l'ancienne régie. À la majorité, les copropriétaires présents ont jugé inutile que les époux X._ relatent, ainsi qu'ils le demandaient, l'historique du différend qui les opposaient à l'administrateur sur cette question. D'autres propriétaires d'étages ont relevé que A._ SA avait repris une situation très difficile et accompli un énorme travail. Au cours de l'assemblée, les époux X._ ont souligné qu'ils n'étaient pas en litige avec la copropriété, mais avec A._ SA. Ils se sont ensuite opposés à la nomination en qualité d'administrateur pour 2004 de cette régie, qui a néanmoins été réélue. Le 5 mai 2004, les époux X._ se sont déclarés choqués de la tenue de l'assemblée générale du 27 avril 2004. Ils alléguaient qu'au moment de l'élection de l'administrateur, ils s'étaient levés pour demander la révocation de A._ SA et solliciter un débat préalable sur cette question; or ils avaient été enjoints de se taire, ce qui était inacceptable. Ils demandaient, en outre, toute explication utile concernant le montant de 42'100 fr. 20 soudainement "réapparu". E. Le 26 mai 2004, les époux X._ ont saisi le Tribunal de première instance du canton de Genève d'une action tendant à la révocation de l'administrateur de la PPE Y._. Statuant le 5 juillet 2004, le Tribunal a rejeté cette requête avec suite de dépens. Par arrêt rendu le 7 octobre 2004 sur recours des époux X._, la première Section de la Cour de justice du canton de Genève a confirmé le jugement de première instance, avec suite de dépens. La motivation en droit de cet arrêt, fondée sur les faits exposés sous lettres A à D ci-dessus, est en substance la suivante, dans ce qu'elle a d'utile à retenir pour l'examen du recours : E.a Selon l'art. 712r CC, l'assemblée des copropriétaires peut révoquer en tout temps l'administrateur, sous réserve de dommages-intérêts éventuels (al. 1); si au mépris de justes motifs, l'assemblée refuse de révoquer l'administrateur, tout copropriétaire peut, dans le mois, demander au juge de prononcer la révocation (al. 2). Les justes motifs s'apprécient selon l'art. 4 CC, en prenant en compte toutes les circonstances du cas d'espèce; ils existent lorsque le maintien de l'administrateur ne peut pas être exigé parce que les relations de confiance sont détruites (ATF 127 III 534 consid. 3a). E.b En l'espèce, les recourants reprochent d'abord à l'administrateur de leur avoir réclamé à tort le paiement d'un supplément de charges, en se basant sur un décompte erroné, puis d'avoir refusé de rectifier le calcul contesté, malgré leurs nombreuses interventions en ce sens. A ce sujet, il sied de rappeler que l'ancien administrateur de B._ SA a été inculpé pour s'être indûment approprié des fonds appartenant à l'intimée. Dès le début de son mandat, A._ SA a relevé que les comptes qui lui avaient été transmis ne reflétaient pas la réalité. Sur la base des pièces contrôlées, il est apparu que certains fournisseurs n'avaient pas été payés. Les montants concernés ont été précisés lors de l'assemblée du 6 juin 2002; il en résultait que les provisions encaissées ne couvraient pas les dettes à honorer. A la majorité, les copropriétaires ont alors décidé de payer la différence, précisant que les acomptes versés à B._ SA ne pourraient pas être déduits. C'est donc en parfaite application de cette décision que les recourants ont reçu le décompte de charges du 4 juillet 2002. Malgré leur insistance subséquente, l'administrateur était fondé à refuser de réduire le montant réclamé à concurrence des factures payées aux fournisseurs par B._ SA, même s'il s'est avéré, par la suite, que les provisions versées antérieurement n'avaient pas fait l'objet de malversations et que les créances desdits fournisseurs avaient bien été honorées par B._ SA. Une fois ce contrôle effectué, les fonds versés à titre supplémentaire ont finalement pu être restitués aux propriétaires d'étages concernés, selon décision de l'intimée du 27 avril 2004. Au demeurant, l'administrateur a pris soin d'expliquer ce processus aux recourants dans de nombreux courriers. Il n'a donc nullement failli au mandat qui lui avait été confié.