Faits:
A. Le 8 janvier 2008, les époux X._ ont formé un recours en matière civile et un recours constitutionnel subsidiaire contre un arrêt rendu le 16 novembre 2007 par la Cour de justice du canton de Genève dans la cause qui les oppose à Y._. Invitée à se déterminer sur la requête d'effet suspensif déposée par les recourants, celle-ci a conclu à son rejet. En revanche, elle ne s'est pas déterminée sur le fond.
B. Par arrêt du 3 octobre 2008, la IIe Cour de droit civil a déclaré le recours en matière civile irrecevable, admis partiellement le recours constitutionnel subsidiaire, annulé l'arrêt attaqué et mis à la charge des recourants 9/10èmes des frais judiciaires (ch. 3) ainsi qu'une indemnité de 2'400 fr. à payer à l'intimée à titre de dépens (ch. 4).
C. Les époux X._ présentent une demande de révision. Ils concluent à l'annulation du chiffre 4 du dispositif de l'arrêt fédéral et à ce qu'il soit prononcé que Y._ leur verse une indemnité de dépens de 1'000 fr.
L'autorité cantonale a renoncé à se déterminer. Quant à l'intimée, elle conclut au rejet de la demande de révision.

Considérant en droit:
1. La demande de révision, fondée sur le motif prévu à l'art. 121 let. d LTF, a été déposée en temps utile (art. 124 al. 1 let. b LTF), de sorte qu'elle est recevable.
1.1 Aux termes de l'art. 121 let. d LTF, la révision d'un arrêt du Tribunal fédéral peut être demandée lorsque, par inadvertance, le tribunal n'a pas apprécié des faits importants qui ressortent du dossier. Ce motif de révision correspond à celui qui, jusqu'à l'entrée en vigueur le 1er janvier 2007 de la loi fédérale sur le Tribunal fédéral (LTF), était prévu à l'art. 136 let. d de la loi d'organisation judiciaire (OJ). La jurisprudence à ce propos est donc toujours valable (cf. arrêts 4F_1/2007 du 13 mars 2007, consid. 5 et 6, et 1F_10/2007 du 2 octobre 2007, consid. 4.1). Le motif prévu à l'art. 121 let. d LTF concerne le cas où le Tribunal fédéral a statué en se fondant sur un état de fait incomplet ou différent de celui qui résultait du dossier. L'inadvertance implique une erreur et consiste soit à méconnaître soit à déformer un fait ou une pièce. Elle doit se rapporter au contenu même du fait, à sa perception par le tribunal, mais non pas à son appréciation juridique. Les faits doivent ressortir du dossier, soit non seulement de la décision attaquée, mais aussi de l'ensemble des actes de procédure comprenant le dossier complet de l'autorité cantonale ou inférieure et les mémoires et pièces adressés au Tribunal fédéral dans la mesure où ils sont recevables (Rolando Forni, Svista manifesta, fatti nuovi e prove nuove nella procedura di revisione, in Festschrift zum 70. Geburtstag von Max Guldener, p. 91 et 92; Jean-François Poudret, COJ, n. 5.1 et 5.2 ad art. 136 OJ). Il faut en outre que les faits qui n'ont pas été pris en considération soient pertinents, susceptibles d'entraîner une décision différente de celle qui a été prise et plus favorable au requérant (<ref-ruling> consid. 3 et les références).
En revanche, la révision n'entre pas en considération lorsque c'est sciemment que le juge a refusé de tenir compte d'un certain fait, parce qu'il le tenait pour non décisif, car un tel refus relève du droit.
1.2 Bien qu'il ne l'ait pas posé dans l'arrêt attaqué, le Tribunal fédéral s'est implicitement fondé sur un fait inexistant, à savoir le dépôt par l'intimée d'une réponse au recours. Il a ensuite statué en se fondant par inadvertance sur un état de fait différent de celui qui résultait du dossier, à savoir l'absence de réponse de l'intimée.
Les requérants observent ainsi à raison que la IIe Cour de droit civil a ignoré par inadvertance l'absence de réponse au fond et que ce fait aurait été susceptible d'entraîner une autre décision. Le Tribunal fédéral a ensuite tiré une conclusion juridique, en octroyant des dépens à l'intimée, en se fondant sur un état de fait différent de celui qui résultait du dossier. Il a fondé par inadvertance son arrêt sur un fait que non seulement aucune des parties n'a allégué mais qui est inexistant. L'inadvertance ne réside donc pas dans l'appréciation juridique d'un fait.
Dans ces conditions, le motif de révision prévu par l'art. 121 let. d LTF doit être admis. En application de l'art. 128 al. 1 LTF, il convient d'annuler le chiffre 4 du dispositif de l'arrêt du 3 octobre 2008 et de statuer à nouveau sur le sort des dépens de la procédure fédérale ayant donné lieu au prononcé.
2. Le recours en matière civile était irrecevable et le recours constitutionnel subsidiaire n'a été admis que sur la question du déni de justice formel, les griefs portant sur les constatations de fait et l'application arbitraire des art. 684, 737 et 738 CC étant rejetés dans la mesure de leur recevabilité. Pour tenir compte de ce résultat, l'intimée versera aux recourants des dépens réduits. Elle-même n'a pas droit à des dépens, dès lors qu'elle ne s'est pas déterminée au fond et a conclu au rejet de la requête d'effet suspensif qui a été admise (art. 68 al. 1 LTF).
3. La demande étant admise, il se justifie de ne pas percevoir de frais pour la procédure de révision (art. 66 al. 1 LTF). Par conséquent, l'avance de frais de 500 fr. versée par les requérants pour cette procédure leur sera restituée. Quant à l'intimée, qui a conclu à tort au rejet de la demande de révision, elle devra verser aux requérants une indemnité à titre de dépens.

Par ces motifs, le Tribunal fédéral prononce:
1. La demande de révision est admise.
2. Le chiffre 4 du dispositif de l'arrêt du 3 octobre 2008 dans la cause 5A_23/2008 est annulé et remplacé par le nouveau chiffre 4 ainsi libellé :
« Une indemnité de 300 fr., à payer aux recourants à titre de dépens, est mise à la charge de l'intimée ».
3. Il n'est pas perçu de frais pour la procédure de révision.
4. Une indemnité de 500 fr., à payer aux recourants à titre de dépens, est mise à la charge de l'intimée.
5. Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 20 mai 2009
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière :
Hohl Rey-Mermet