Faits:
A. W._, née en 1949, a travaillé en qualité d'employée de commerce auprès d'une compagnie d'assurance jusqu'en 1987. Dès le 1er mai 1988, elle a bénéficié d'une demi-rente d'invalidité fondée sur un degré d'incapacité de gain de 50 % (prononcé du 8 novembre 1989). Le droit à cette prestation a été confirmé à plusieurs reprises lors de procédures de révision (en 1991, 1993, 1995 et 2000). Du 1er juillet 1990 au 14 octobre 2004, l'assurée a été occupée à mi-temps en qualité d'employée d'accueil de la clientèle au service d'une banque. Depuis lors, elle a cessé le travail en raison de douleurs dorsales.
Dans le cadre d'une nouvelle procédure de révision du droit à la rente, initiée d'office en septembre 2005, l'Office de l'assurance-invalidité du canton du Jura (l'office AI) a recueilli l'avis de la doctoresse B._, spécialiste en psychiatrie et psychothérapie, médecin traitant (rapport du 27 octobre 2005). L'administration a confié un mandat d'expertise à la Clinique X._, fonctionnant en tant que COMAI. Dans leur rapport d'expertise interdisciplinaire du 15 novembre 2006, les doctoresses D._, spécialiste en médecine physique et rééducation ainsi qu'en rhumatologie, et U._, spécialiste en psychiatrie et psychothérapie, ont attesté une capacité de travail exigible de 70 % dans l'ancienne profession. Par décision du 3 septembre 2007, l'office AI a fixé le taux d'invalidité de l'assurée à 30 % et a mis fin au droit à la rente.
B. W._ a déféré cette décision à la Chambre des assurances du Tribunal cantonal de la République et canton du Jura, en concluant principalement au maintien de la demi-rente.
Par jugement du 19 décembre 2008, la juridiction cantonale a admis le recours et annulé la décision du 3 décembre 2007.
C. L'office AI interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant principalement à la confirmation de sa décision, subsidiairement au renvoi de la cause pour nouvelle instruction.
L'intimée conclut au rejet du recours, avec suite de frais et dépens. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit selon les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. <ref-ruling> consid. 1.4 p. 140).
2. Le litige porte sur la révision du droit à la demi-rente d'invalidité dont bénéficiait l'intimée.
Selon l'<ref-law>, si le taux d'invalidité du bénéficiaire de la rente subit une modification notable, la rente est, d'office ou sur demande, révisée pour l'avenir, à savoir augmentée ou réduite en conséquence, ou encore supprimée.
3. 3.1 Les premiers juges ont constaté que la doctoresse U._ ne s'était pas exprimée sur la diminution de l'intensité de l'atteinte psychique. De ce silence, ils ont déduit que l'état de santé psychique de l'intimée ne s'était pas modifié entre le 8 novembre 1989 (date de la décision initiale de rente), respectivement le 30 août 2000 (jour où la dernière décision confirmant le droit à la rente avait été rendue dans une procédure de révision), et le 3 septembre 2007 (date de la décision portant suppression de la rente). Quant au degré de l'incapacité de travail, le tribunal a estimé qu'il résultait d'une appréciation différente de l'experte mandatée par l'office AI. Dès lors que de tels éléments ne justifiaient pas une révision de la rente, selon la jurisprudence, et que les conditions d'une reconsidération au sens de l'<ref-law> n'étaient pas non plus réalisées, le tribunal a annulé la décision administrative et rétabli le droit de l'intimée à la demi-rente.
3.2 L'office recourant reproche au tribunal cantonal d'avoir constaté les faits pertinents de façon erronée, violant ainsi le droit fédéral (<ref-law>). En particulier, l'office AI estime que le tribunal a fait complètement abstraction du rapport de la doctoresse B._ du 27 octobre 2005, où la psychiatre traitante de l'intimée attestait clairement une amélioration de l'état de santé psychique, bien que le diagnostic restât inchangé. Notamment, ce médecin relevait que la patiente ne présentait plus de dépression et de crises d'angoisse, qu'elle participait à la rénovation de sa maison et qu'elle ne consommait plus de benzodiazépine.
Par ailleurs, le recourant fait grief à la juridiction cantonale de n'avoir pas pris en considération les conclusions du COMAI quant à la capacité résiduelle de travail (rapport du docteur A._ du 21 janvier 2008, ch. 6). Dès lors que le rapport de la clinique X._ avait valeur probante, au sens de la jurisprudence, le recourant soutient qu'il faut s'y référer pour actualiser le degré de l'invalidité.
3.3 L'intimée conteste les griefs du recourant. Elle soutient notamment que le tribunal cantonal n'a pas apprécié les preuves de façon arbitraire en constatant que le rapport d'expertise psychiatrique de la doctoresse U._ ne faisait pas mention d'une modification ou d'une amélioration de l'état de santé. Elle ajoute que ce document ne constitue qu'une appréciation différente de faits restés identiques, ce qui ne suffit pas à justifier une révision du droit à la rente.
4. 4.1 Les parties ne remettent pas en cause les constatations de fait du jugement attaqué, dans la mesure où celui-ci retient que le diagnostic psychatrique n'a pas évolué depuis la décision initiale d'octroi de la rente. Leurs avis divergent en revanche sur la modification de l'état de santé psychique et de la capacité de travail.
Ces deux derniers points constituent des questions de fait qui lient en principe le Tribunal fédéral (<ref-law>), à moins que les faits en cause aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 (<ref-law>).
4.2 Dans le rapport qu'elle avait rédigé le 7 avril 1989, la doctoresse B._ avait fixé le degré de l'incapacité de travail de sa patiente dans son activité d'employée de commerce à 50 % depuis le 1er octobre 1988, en raison d'affections psychiques. Le 27 octobre 2005, elle a attesté que l'état de santé psychique s'était amélioré, bien que le diagnostic psychiatrique fût resté identique; la doctoresse B._ ne s'est toutefois pas déterminée sur l'étendue de la capacité résiduelle de travail, mais elle a recommandé à l'AI de mettre en oeuvre une expertise médicale.
Cet examen a été confié à la clinique X._. D'après la doctoresse D._, l'intimée est apte à exercer son activité de secrétaire de réception à 100 %, d'un point de vue rhumatologique (consilium de rhumatologie du 8 juin 2006). Quant à la doctoresse U._, elle a confirmé le diagnostic psychiatrique posé par sa consoeur B._ (épisode dépressif moyen; agoraphobie et troubles paniques anxieux) et attesté une capacité de travail de 70 % dans l'ancienne profession, en raison des affections psychiques; d'un point de vue médico-théorique, un rendement de 100 % serait toutefois possible six mois après la mise en oeuvre de mesures thérapeutiques (consilium de psychiatrie du 8 juin 2006). L'exigibilité d'une capacité de travail de 70 % dans son activité de secrétaire de réception ou tout autre emploi adapté a finalement été retenue de manière consensuelle par les experts dans leur rapport d'expertise interdisciplinaire du 15 novembre 2006, puis confirmée ce à compter de l'automne 2004 (rapport du docteur A._ du 21 janvier 2008).
4.3 La juridiction cantonale a procédé à une lecture sélective du rapport d'expertise interdisciplinaire du COMAI du 15 novembre 2006, en mettant en exergue le fait que la doctoresse U._ ne s'était pas exprimée sur la question de l'évolution de l'état de santé psychique de l'intimée. Par ailleurs, les premiers juges ont fait abstraction du rapport de la doctoresse B._ du 27 octobre 2005 qui avait clairement pris position sur la question de la modification de l'état de santé psychique de sa patiente. Enfin, la manière dont les constatations de fait du tribunal cantonal ont été établies prête le flanc à la critique, sous l'angle de l'art. 61 let. c LPGA, car l'avis médical du COMAI (qui - sauf exception non remplie en l'espèce - a force probante : <ref-ruling> consid. 3a p. 352, 123 V 175) était justement destiné à compléter celui de la psychiatre B._, singulièrement sur la question de l'étendue de la capacité de travail résiduelle, que la prénommée n'avait pas abordée.
A l'examen des griefs du recourant, des rapports de la doctoresse B._ des 7 avril 1989 et 27 octobre 2005, ainsi que du rapport d'expertise interdisciplinaire du COMAI du 15 novembre 2006 (ch. 2.2 p. 11), qui a donné lieu à une précision du docteur A._, le 21 janvier 2008, on doit admettre que l'office recourant avait admis à juste titre que l'état de santé psychique de l'intimée s'est amélioré et que sa capacité de travail s'élevait désormais à 70 % dans l'ancienne profession de réceptionniste auprès d'une banque. En le niant, les premiers juges ont procédé à une constatation manifestement inexacte des faits pertinents, si bien que le Tribunal fédéral rectifiera ces constats (<ref-law>).
5. 5.1 En l'espèce, l'office recourant a admis que la diminution de rendement de l'intimée dans l'ancienne activité de secrétaire réceptionniste correspondait au degré de l'invalidité, soit 30 %. Pour ce faire, le recourant est parti du principe que l'intimée pourrait augmenter ses revenus dans un emploi de réceptionniste auprès d'une banque, dans une mesure correspondant à l'amélioration de sa capacité de travail dans cette activité. De leur côté, les premiers juges n'ont pas procédé à une évaluation de l'invalidité, car ils ont considéré que le taux de l'incapacité de travail résultait d'une appréciation médicale différente (sous-entendu : de celle qui avait été rendue lors de l'octroi initial de la rente) qui ne pouvait ainsi être suivie.
On ne saurait partager le raisonnement du recourant, qui découle en quelque sorte d'une évaluation médico-théorique de l'invalidité. Par ailleurs, le revenu que l'intimée percevait jusqu'en 2004 se rapportait à un emploi qu'elle avait pris postérieurement à l'évaluation initiale du degré de l'invalidité et qui n'avait pas été pris en considération à cette occasion.
5.2 Pour procéder à la comparaison des revenus (<ref-law>), il convient de se placer au moment de la modification possible du droit à la rente (en septembre 2007), les revenus avec et sans invalidité devant être déterminés par rapport à un même moment (cf. <ref-ruling>).
Le revenu sans invalidité doit être déterminé en partant du dernier revenu obtenu avant la survenance de l'atteinte à la santé (arrêt I 225/99 du 11 février 2000, in VSI 2000 p. 310). Du questionnaire pour l'employeur du 19 mai 1989, il ressort que l'intimée a perçu un revenu total de 41'756 fr. en 1986 (dernière année complète), gratification comprise. Ce montant doit être adapté suivant l'indice des salaires nominaux de la branche où travaillait l'intimée, lequel est passé pour les femmes de 1'516 points en 1986 à 2'024 points en 1993, puis à 125,9 points (nouvelle base) en 2007 (Annuaire statistique de la Suisse, 1994 T3.11b, 1995 T3.15, 2009 T3.4.2.2.1). Le revenu sans invalidité s'élève ainsi à 70'186 fr. en 2007.
D'après la jurisprudence (<ref-ruling>), le revenu avec invalidité doit, en l'absence de salaire effectif, être arrêté à la lumière des statistiques salariales ressortant de l'enquête suisse sur la structure des salaires publiée par l'Office fédéral de la statistique. Dans le cas d'espèce, il sied de tenir compte des valeurs ressortant de la table TA1 relatives à l'année 2006 (p. 25), plus précisément du ch. 67 (Services aux activités financières et d'assurances), niveau 4 (activités simples et répétitives) pour une femme, car cela correspond le mieux à l'activité la plus adaptée décrite dans le rapport du COMAI et qu'il s'agit du domaine où la recourante a travaillé en dernier lieu durant de nombreuses années jusqu'en 2004. Il faut ainsi partir d'un gain déterminant de 5'461 fr. par mois (valeur standardisée). Ce salaire mensuel hypothétique de 5'461 fr. doit être adapté à l'évolution des salaires pour l'année 2007 (+ 2,1 %; Annuaire statistique 2009, T3.4.2.2.1, pour les secteurs 65-74 des activités financières, assurances, services aux entreprises), soit 5'575 fr. Comme il se base sur une durée hebdomadaire de travail de 40 heures, inférieure à la moyenne usuelle dans les secteurs 65-67 (activités financières et assurances), il y a lieu de l'ajuster à 41,4 heures par semaine (Annuaire statistique 2009, T3.2.4.19), soit un salaire mensuel de 5'770 fr., ou annuel de 69'249 fr. En adaptant ce revenu à la capacité résiduelle de travail de l'intimée, son gain hypothétique s'élève ainsi à 48'474 fr. (70 % de 69'249 fr.). Il convient ensuite d'appliquer un facteur de réduction au gain annuel statistique de 48'474 fr., conformément à la jurisprudence (cf. <ref-ruling>). Compte tenu des circonstances personnelles et professionnelles du cas particulier, un abattement de 15 % semble approprié, si bien que le gain d'invalide se monte à 41'203 fr. La comparaison des revenus (41'203 / 70'186) aboutit à un degré d'invalidité arrondi (cf. <ref-ruling>) de 41 %, ce qui ouvre encore droit au quart de rente dès le 1er novembre 2007 (<ref-law>).
Le recours sera dès lors partiellement admis et le jugement attaqué ainsi que la décision du 3 septembre 2007 réformés en ce sens.
6. Compte tenu de l'issue du litige, il sied de répartir les frais de la procédure entre les parties, par moitié chacune (<ref-law>). Pour le même motif, le recourant versera à l'intimée une indemnité réduite de dépens pour la procédure fédérale (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis. Le jugement de la Chambre des assurances du Tribunal cantonal de la République et canton du Jura du 19 décembre 2008 et la décision de l'Office de l'assurance-invalidité du canton du Jura du 3 septembre 2007 sont réformés en ce sens que l'intimée a droit à un quart de rente d'invalidité.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge des parties, par 250 fr. chacune.
3. Le recourant versera à l'intimée la somme de 3'000 fr. (y compris la TVA) à titre d'indemnité pour l'ensemble de la procédure de recours, cantonale et fédérale.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton du Jura, Chambre des assurances, à l'Office fédéral des assurances sociales et à la Caisse de compensation du canton du Jura.
Lucerne, le 31 décembre 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Berthoud