Faits:
A. S._ a bénéficié par intermittence de rentes entières de l'assurance-invalidité depuis le 1er août 1992, puis d'un quart de rente dès le 1er janvier 1996, car sa capacité de travail et de gain était réduite en raison d'affections dorsales. A la suite d'une révision du droit à la rente, l'assuré s'est vu accorder une rente entière depuis le 1er septembre 1999, fondée sur un degré d'invalidité de 100 %, en raison d'un trouble dépressif invalidant (décision du 2 novembre 2001).
A l'occasion d'une nouvelle procédure de révision, l'Office de l'assurance-invalidité du canton de Neuchâtel a confié un mandat d'expertise au docteur C._, spécialiste en psychiatrie et psychothérapie. Dans son rapport du 19 janvier 2006, l'expert a fait état de dysthymie (F34.1) si légère qu'elle ne justifie pas une incapacité de travail de plus de 10 %; il a également mis en évidence une majoration de symptômes physiques pour des raisons psychiques et sociales. Par ailleurs, l'office AI a ordonné une expertise rhumatologique. Dans son rapport du 18 juillet 2006, le docteur S._, spécialiste en rhumatologie et médecine interne, a attesté que la capacité de travail s'élève à 60 % dans une activité adaptée.
Par décision du 2 février 2007, l'office AI a remplacé la rente entière par un quart de rente dès le 1er avril 2007, sur la base d'un taux d'invalidité de 44 %.
B. S._ a déféré cette décision au Tribunal administratif du canton de Neuchâtel qui l'a débouté par jugement du 20 juillet 2007.
C. L'assuré interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation ainsi que celle de la décision administrative, avec suite de frais et dépens. A titre principal, il conclut au maintien de la rente entière allouée par décision du 2 novembre 2001. Subsidiairement, il demande le versement d'une demi-rente et plus subsidiairement la mise en oeuvre d'un complément d'instruction. Il produit un rapport du docteur D._ du 7 septembre 2007.
Par ordonnance du 16 avril 2008, le Tribunal fédéral a rejeté la demande d'assistance judiciaire présentée par le recourant.
L'intimé et l'Office fédéral des assurances sociales n'ont pas été invités à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF). Par ailleurs, il ne peut présenter de preuve nouvelle (art. 99 al. 1 LTF), à l'instar du rapport du 7 septembre 2007.
En ce qui concerne plus particulièrement l'évaluation de l'invalidité, conformément aux principes relatifs au pouvoir d'examen développés par le Tribunal fédéral (ATF 132 V 393 consid. 3 p. 397 ss), les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de l'assuré et l'exigibilité relèvent d'une question de fait et ne peuvent être contrôlées que sous un angle restreint (ATF 132 V 393 consid. 3.2 p. 398).
2. Le litige porte sur la réduction de la rente entière au quart de rente, par voie de révision (art. 17 LPGA). Les premiers juges ont exposé correctement les conditions d'application de cette disposition légale au consid. 2 du jugement attaqué, auquel il suffit de renvoyer.
Par ailleurs, les juges cantonaux ont aussi rappelé les principes jurisprudentiels relatifs au rôle des médecins, en matière de preuve, pour déterminer l'invalidité, les conditions auxquelles la jurisprudence soumet la valeur probante d'expertises médicales, de même que les raisons pour lesquelles il convient d'attacher plus de poids à l'opinion motivée d'un expert qu'à l'appréciation de l'incapacité de travail par le médecin de famille. Là aussi, on renverra aux consid. 2 et 3a du jugement entrepris.
3. En l'espèce, les premiers juges ont reconnu une pleine valeur probante au rapport d'expertise du docteur C._, à l'aune des critères posés par la jurisprudence (ATF 125 V 351 consid. 3a p. 352). A cette occasion, ils ont abordé les griefs que le recourant avait soulevés à l'encontre du rapport du 19 janvier 2006 et se sont déterminés sur ceux-ci. Singulièrement, la juridiction cantonale a constaté que l'expert avait explicité de façon circonstanciée les raisons pour lesquelles il avait retenu que la situation n'était plus du tout la même qu'à l'époque où une incapacité de travail justifiant l'octroi d'une rente entière avait été admise pour des raisons psychiatriques.
Lors de son examen du rapport d'expertise psychiatrique, la juridiction cantonale a constaté que le docteur C._ avait diagnostiqué une dysthymie, ajoutant que l'expert avait relevé des « fluctuations » de l'humeur qui pourraient à la limite être incluses dans le terme de dysthymie de gravité légère. L'expert avait aussi relevé que le recourant ne présentait pas d'état dépressif sévère mais bien plutôt des troubles de l'adaptation avec réaction anxieuse. Cela étant, le Tribunal cantonal a considéré que l'affection psychique en cause ne revêt aucun caractère invalidant, conformément à la jurisprudence (cf. ATF 127 V 294 consid. 5a p. 299), puisque les éléments mis en exergue par l'expert trouvent leur explication uniquement dans le champ socio-culturel et psychosocial de l'assuré.
Le Tribunal administratif a retenu que l'assuré ne présente actuellement plus qu'une incapacité de travail liée à des affections somatiques, à hauteur de 40 %, et que son état de santé s'est amélioré. Il a ainsi confirmé le remplacement de la rente entière par un quart de rente, d'autant que le recourant n'avait pas contesté le calcul de la perte de gain de l'office intimé.
4. Le recourant fait essentiellement grief aux premiers juges d'avoir constaté les faits pertinents de façon manifestement inexacte (art. 97 LTF), d'avoir violé le droit fédéral, plus particulièrement les art. 7 et 8 LPGA ainsi que l'art. 28 LAI. Il se prévaut aussi d'une violation de l'art. 9 Cst., alléguant que la décision litigieuse est insoutenable et en contradiction évidente avec la situation de fait.
Selon le recourant, le rapport d'expertise du docteur C._ du 19 janvier 2006 est dépourvu de valeur probante. En particulier, il soutient que ce médecin n'a pas établi avec lui la « relation d'empathie » ou mieux dit de « partialité multidirectionnelle » nécessaire au bon déroulement d'une expertise. Le recourant ajoute que l'appréciation de la capacité de travail à laquelle l'expert C._ a procédé est sommaire, rappelant qu'elle ne coincide pas avec celle de son psychiatre traitant, le docteur D._, qui atteste une capacité de travail exigible de 50 % au plus.
Par ailleurs, le recourant reproche aux juges cantonaux d'avoir considéré à tort que l'affection psychique ne présente aucun caractère invalidant, en ayant retenu de façon erronée que les facteurs psychosociaux ou socioculturels seraient seuls à l'origine de l'invalidité de 10 % retenue par le docteur C._.
5. Comme en première instance, le recourant tente en vain de démontrer que le rapport du docteur C._ ne remplirait pas les exigences jurisprudentielles relative à la force probante des rapports médicaux. Singulièrement, les griefs qu'il soulève à propos de la relation qui aurait (à son avis) dû s'instaurer avec l'expert ne sont pas avérés, à supposer que cet élément eût été décisif (ce qu'il n'y a pas lieu d'examiner). Quant à l'appréciation de la capacité de travail de l'expert C._, elle n'a rien de sommaire mais procède au contraire d'une explication convaincante, étayée au long du rapport d'expertise.
Le recourant ne parvient pas davantage à établir que la juridiction cantonale aurait établi les faits déterminants en violation du droit ou de manière manifestement inexacte, ou qu'elle aurait apprécié les preuves de façon insoutenable. En effet, en présence d'avis psychiatriques divergents, les premiers juges ont dûment justifié, comme ils devaient le faire en pareilles circonstances, ce qui les a conduits à préférer les conclusions de l'expert à celles du psychiatre traitant. En outre, dès lors que les faits tirés de la discussion mettaient en évidence des éléments prégnants des champs socio-culturel et psycho-social de l'assuré, il ne peut être reproché aux premiers juges, sous l'angle d'une constatation manifestement inexacte, de ne pas avoir retenu l'incapacité de travail au maximum de 10 % relevée par le docteur C._.
6. Il s'ensuit que l'invalidité du recourant a été établie en partant à juste titre du fait que son incapacité de travail s'élève désormais à 40 % dans une activité adaptée.
Quant à la perte de gain qui en découle, le recourant ne conteste pas qu'elle n'ouvre droit plus qu'à un quart de rente. La décision portant réduction de la rente, conformément à l'art. 17 LPGA, ne souffre ainsi d'aucune critique et le recours est infondé.
7. Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal administratif du canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 8 septembre 2008
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Berthoud