Faits:
A. F._ a travaillé en qualité de maçon et de manoeuvre dans le bâtiment. Le 21 janvier 2000, il a déposé une demande de prestations de l'assurance-invalidité, en alléguant souffrir de douleurs dorsales depuis janvier 1997. L'Office de l'assurance-invalidité du canton de Neuchâtel (l'office AI) a rendu une décision sur opposition, le 3 novembre 2003, qui a été annulée par le Tribunal administratif de la République et canton de Neuchâtel (aujourd'hui : Tribunal cantonal, Cour de droit public) dans un jugement du 29 juillet 2005. Saisi par l'office AI, le Tribunal fédéral des assurances a confirmé ce jugement, par arrêt du 7 novembre 2006 (I 626/05) auquel il est renvoyé.
A la suite de cet arrêt, l'office AI a repris l'instruction de la demande, dans le cadre de laquelle il a confié un mandat d'expertise pluridisciplinaire à la Clinique X._. Le rapport d'expertise a été déposé le 19 juin 2007. A la lumière de celui-ci, le Service médical régional AI a retenu que la capacité de travail de l'assuré était nulle dans l'activité habituelle depuis le 2 décembre 1999; en revanche, dans une activité adaptée aux limitations fonctionnelles, elle était de 100 % du 2 décembre 1999 au 31 décembre 2004, et de 60 % depuis le 1er janvier 2005 (avis des 7 août et 8 novembre 2007). Par décision du 26 août 2008, l'office AI a alloué à l'assuré une demi-rente d'invalidité à compter du 1er janvier 2006.
B. F._ a déféré cette décision au Tribunal cantonal en concluant au renvoi de la cause à l'administration, pour le cas où la nullité de cette décision ne serait pas constatée.
Par jugement du 21 mars 2011, la juridiction cantonale a rejeté le recours.
C. F._ interjette un recours en matière de droit public contre ce jugement. Avec suite de frais et dépens, il conclut principalement à la reconnaissance de son droit à une rente d'invalidité depuis le 1er janvier 2002, au versement d'une demi-rente jusqu'au 31 décembre 2003 puis à un trois-quarts de rente dès le 1er janvier 2004, subsidiairement au renvoi de la cause pour instruction complémentaire.
L'office intimé et l'Office fédéral des assurances sociales n'ont pas été invités à se déterminer.

Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération. Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
2. Le litige porte sur le taux d'invalidité du recourant, ainsi que sur le moment du début du droit à la rente.
Les premiers juges ont exposé correctement les règles applicables à la solution du litige, si bien qu'il suffit de renvoyer au jugement attaqué.
3. Le recourant reproche au Tribunal cantonal d'avoir procédé à une constatation manifestement inexacte des faits pertinents; il se plaint aussi d'une violation de son droit d'être entendu. Ses griefs portent essentiellement sur les points suivants.
En premier lieu, il rappelle que l'ancien Tribunal administratif neuchâtelois avait renvoyé la cause à l'office intimé, par jugement du 29 juillet 2005, afin de déterminer les activités qu'il pouvait encore accomplir compte tenu de ses atteintes physiques objectives ainsi que la capacité de travail raisonnablement exigible qu'il pourrait déployer dans une activité adaptée. A cet égard, le recourant soutient que le rapport d'expertise de la Clinique X._ du 19 juin 2007 ne répond pas aux exigences de ce jugement, dès lors que les experts, qui ont retenu une capacité de travail résiduelle de 60 % dans une activité adaptée, n'ont pas précisé la nature d'une telle activité. Dans la mesure où la décision administrative était insuffisamment motivée sur la question des activités lucratives entrant en ligne de compte, le recourant estime que les premiers juges auraient dû l'annuler et renvoyer la cause à l'office intimé.
Le recourant soutient ensuite que les différents volets de l'expertise de la Clinique X._ sont incohérents et contradictoires. A son avis, si l'atteinte psychique représente à elle seule une diminution de la capacité de travail de 40 %, il est inconcevable que la capacité résiduelle de travail, toutes pathologies confondues, soit fixée globalement à 60 %, car cela reviendrait à considérer que les multiples et importantes pathologies somatiques n'ont strictement aucune influence sur sa capacité de travail, ce qui est totalement impossible et erroné.
Par ailleurs, le recourant estime que son invalidité a débuté antérieurement au 1er janvier 2005. A cet égard, il allègue qu'une invalidité de 50 % au moins existait depuis le 1er janvier 2002, à la lumière notamment des conclusions d'un stage d'observation accompli auprès du Centre Y._ du 11 au 28 mars 2002 (rapport du 17 avril 2002).
Finalement, le recourant se plaint du fait que le gain d'invalide pris en compte serait supérieur à celui qu'il réalisait avant les atteintes à la santé. Le procédé lui semble peu sérieux et le résultat choquant.
4. La juridiction cantonale a constaté que le recourant présente une capacité de travail de 60 % dans des activités adaptées. Contrairement à ce que soutient le recourant, ce constat de fait ne prête aucunement le flanc à la critique, car il procède d'une analyse complète et approfondie de la situation médicale, objective et subjective, fondée sur un rapport d'expertise pluridisciplinaire (du 19 juin 2007) qui répond aux réquisits jurisprudentiels relatifs à la force probante de tels documents (cf. <ref-ruling> consid. 3a p. 352). A cet égard, la nature des activités lucratives exigibles ressort clairement du rapport d'expertise. Ce document, dont la juridiction cantonale a reproduit les passages essentiels au consid. 5a de son jugement, n'énonce pas seulement les diverses atteintes à la santé du recourant, aussi bien psychiques que somatiques, mais il indique également le genre d'activités que le recourant doit éviter et celles qu'il peut accomplir. Sont ainsi adaptées les activités dans lesquelles le recourant ne doit pas effectuer de travaux en flexion et/ou rotation du tronc, porter des charges supérieures à 10 kg et accomplir des travaux d'élévation des membres supérieurs au-dessus de la ligne des pectoraux, à quoi le SMR a ajouté l'absence de position statique prolongée et la nécessité de pouvoir changer de position toutes les heures (avis du 8 novembre 2007). D'un point de vue médical, l'expertise pluridisciplinaire du 19 juin 2007 apporte ainsi une réponse suffisante au complément d'instruction requis par le jugement du 29 juillet 2005 (consid. 4b in fine); par ailleurs, avec les premiers juges, on doit admettre qu'il existe un nombre significatif de métiers adaptés pouvant être exercés par le recourant, compte tenu du large éventail d'activités simples et répétitives n'impliquant pas de formation autre qu'une mise au courant initiale (voir par ex. l'arrêt 9C_1035/2009 du 22 juin 2010 consid. 4.2.4, in SVR 2011 IV n° 6 p. 18).
En ce qui concerne le taux global de la capacité de travail résiduelle de travail dans une activité adaptée, qui a été fixé à 60 %, le recourant cherche à substituer sa propre appréciation de la situation à celle des premiers juges. Compte tenu de son pouvoir d'examen restreint (cf. consid. 1 supra), il n'appartient pas au Tribunal fédéral de procéder une nouvelle fois à l'appréciation des preuves administrées, mais à la partie recourante d'établir en quoi celle opérée par l'autorité cantonale serait manifestement inexacte ou incomplète, ou en quoi les faits constatés auraient été établis au mépris de règles essentielles de procédure. Dans son raisonnement, le recourant omet toutefois de tenir compte du fait que si les affections du rachis lombaire et de l'épaule droite justifient une incapacité de travail complète dans l'activité de maçon ou de manoeuvre dès le 2 décembre 1999, il peut néanmoins toujours exercer une activité adaptée à son état de santé (cf. rapport d'expertise du 19 juin 2007, p. 13). Aussi, en fixant l'incapacité de travail globale à 40 %, la juridiction cantonale n'a pas constaté les faits d'une façon manifestement inexacte.
A propos du début de l'invalidité, la juridiction cantonale a clairement exposé les motifs pour lesquels elle a admis qu'une incapacité de travail de 40 % ne remontait qu'à janvier 2005 (consid. 6 du jugement attaqué, auquel il sied de renvoyer). Elle a ainsi répondu aux griefs du recourant (recours cantonal, p. 8, en bas) que ce dernier renouvelle vainement en instance fédérale.
Quant au revenu d'invalide, il ne suffit pas d'affirmer péremptoirement qu'il serait trop élevé, ni de soutenir que l'office intimé aurait dû se montrer "raisonnable" lors de sa fixation. Pour satisfaire aux réquisits de l'art. 42 al. 2 LTF, il incombait en pareilles circonstances au recourant d'exposer en quoi ce revenu aurait été établi contrairement au droit fédéral, ce qu'il a omis de faire.
Vu ce qui précède, le recours est en tous points infondé.
5. Le recourant, qui succombe, supportera les frais de la procédure (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et à l'Office fédéral des assurances sociales.
Lucerne, le 23 mars 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Berthoud