Faits: Faits: A. Par contrat du 2 juin 1989, les époux Y._ ont pris à bail un appartement de 6 pièces au 10ème étage d'un immeuble à Genève, actuellement propriété des époux X._. Dame Y._ a repris le bail à son nom seul à une date indéterminée. Le bail, conclu pour une durée initiale de 8 mois, du 1er novembre 1989 au 30 juin 1990, s'est renouvelé depuis tacitement d'année en année. Le loyer annuel, charges non comprises, était initialement de 19 200 fr. Il a été porté à 21 312 fr. dès le 1er juillet 1992. Selon un procès-verbal de conciliation signé le 17 juin 1994, les parties se sont accordées pour proroger le bail au 30 juin 1999, avec prolongation tacite d'année en année, sauf congé donné trois mois à l'avance; le loyer a été fixé à 21 120 fr. du 1er juillet 1994 au 30 juin 1997, "puis indexé une fois l'an 4/5 indice suisse de référence juin 1996". Le loyer, charges non comprises, a en dernier lieu été fixé à 21 240 fr. du 1er novembre 1998 au 30 juin 1999. La hausse, de 0,61 %, correspondait au 4/5 de l'évolution de l'indice de juin 1996 (143.1) à août 1998 (144.2). Le loyer, charges non comprises, a en dernier lieu été fixé à 21 240 fr. du 1er novembre 1998 au 30 juin 1999. La hausse, de 0,61 %, correspondait au 4/5 de l'évolution de l'indice de juin 1996 (143.1) à août 1998 (144.2). B. Par courrier du 9 décembre 1998, la locataire a sollicité une baisse de loyer de 12,28 %, sous réserve d'amplification, pour le 1er juillet 1999, en raison de la baisse du taux d'intérêt hypothécaire à 4,5 % et de la très probable baisse des charges d'exploitation de l'immeuble. De leur côté, les bailleurs ont, le 9 mars 1999, notifié à la locataire une hausse portant le loyer de son appartement à 24 300 fr. du 1er juillet au 30 juin 2000. L'avis de majoration était motivé comme suit: "Travaux à plus-value (+20 %). Hausse des charges (+8 %). Compensation du renchérissement de mai 1994 à janvier 1999 (+1,47 % avec référence à l'indice 144,1). Baisse du taux hypothécaire de 5,5 % à 4 % (-14,53%)." Après échec de la procédure de conciliation, la locataire a saisi le Tribunal des baux et loyers d'une requête en diminution de loyer le 11 mai 1999, tandis que les bailleurs ont déposé une requête de validation de hausse le 3 juin 1999, à laquelle ils devaient ultérieurement renoncer. Dans un premier jugement du 8 novembre 2001, le tribunal a fixé un nouveau loyer, de 18 756 fr., inférieur de 11,70 % à celui alors en vigueur. Se référant à la jurisprudence du Tribunal fédéral relative aux baux à loyers indexés (art. 269b CO), il a notamment retenu, en ce qui concerne la protection du capital exposé au risque, que les indices de référence étaient ceux de mai 1994 (100,4) - l'indexation ayant été décidée en juin 1994 - et de février 1999 (104,4) - l'avis de majoration étant daté du 9 mars 1999. Cela représentait une différence de 3,98 % dont il convenait de répercuter le 40 % sur le loyer, soit un facteur de hausse de loyer de 1,59 % à ce titre. La Chambre d'appel en matière de baux et loyers a annulé ce jugement par arrêt du 31 mai 2002. S'agissant de la compensation du renchérissement, elle a donné raison à la locataire qui soutenait que seule l'évolution de l'ISPC depuis août 1998 devait être prise en considération; en effet, le loyer de 21 240 fr., auquel le taux de modification était appliqué, tenait déjà compte de toute l'évolution antérieure de l'indice. La hausse de l'ISPC intervenue depuis cette date étant négligeable, elle n'avait aucune incidence sur le loyer. La cause a été renvoyée en première instance pour nouvel examen de l'incidence d'autres facteurs entrant dans le calcul du loyer. Par jugement du 26 mai 2003, le Tribunal des baux et loyers a fixé à 19 164 fr., charges non comprises, dès le 1er juillet 1999, le loyer annuel de l'appartement. Cette diminution, de 9,82 %, s'explique comme suit: une réduction de 14,53 % a été admise vu l'évolution du taux hypothécaire, puis compensée à hauteur de 1,45 % au titre de la hausse de charges d'exploitation et de 3,26 % au titre des prestations supplémentaires du bailleur. La variation de l'ISPC n'a pas été prise en considération conformément à la décision de la Cour de justice. Les bailleurs ont formé appel contre ce jugement. Ils estimaient d'une part que le refus de compenser partiellement la réduction de loyer au titre de la protection du capital exposé aux risques violait l'art. 269a let. e CO, d'autre part que certains travaux à plus-value avaient été à tort écartés. Par arrêt du 8 mars 2004, la Chambre d'appel en matière de baux et loyers a refusé de réexaminer la première question, tranchée dans son arrêt du 31 mai 2002, et confirmé le jugement attaqué sur le second point. Les bailleurs ont formé appel contre ce jugement. Ils estimaient d'une part que le refus de compenser partiellement la réduction de loyer au titre de la protection du capital exposé aux risques violait l'art. 269a let. e CO, d'autre part que certains travaux à plus-value avaient été à tort écartés. Par arrêt du 8 mars 2004, la Chambre d'appel en matière de baux et loyers a refusé de réexaminer la première question, tranchée dans son arrêt du 31 mai 2002, et confirmé le jugement attaqué sur le second point. C. Les bailleurs recourent en réforme au Tribunal fédéral. Abandonnant leurs griefs au sujet des travaux à plus-value, ils persistent en revanche à contester le refus de la compensation du renchérissement qui leur a été opposé en instance cantonale. Leurs conclusions tendent à la fixation du loyer à 19 500 fr., charges non comprises, dès le 1er juillet 1999. La locataire invite le Tribunal fédéral à rejeter le recours. La cour cantonale ne formule pas d'observations.