Faits:
A. A.a Le Conseil général de la Ville de Neuchâtel a adopté le 1er octobre 1979 un arrêté fixant les pensions en faveur des membres du Conseil communal et de leurs familles. Cet arrêté a été modifié le 1er janvier 1988. A son article premier, il prévoit ceci :
1Les membres du Conseil communal sortant de charge ont droit aux prestations suivantes :
1. En cas de démission :
a) avec effet avant l'expiration de la 5e année de fonctions : à la créance de libre passage égale à l'avoir de vieillesse accumulé en faveur de l'intéressé, au jour de l'extinction de ses fonctions, dans le cadre de l'institution de prévoyance enregistrée selon l'article 1bis, mais au moins à la somme des cotisations personnellement versées en application de l'article 9, sans addition d'intérêt,
b) avec effet au-delà de la 5e année de fonctions : au versement d'une pension.
2. En cas de non-réélection :
a) avec effet avant l'expiration de la 4e année de fonctions : à la créance de libre passage égale à l'avoir de vieillesse accumulé en faveur de l'intéressé, au jour de l'extinction de ses fonctions, dans le cadre de l'institution de prévoyance enregistrée selon l'article 1bis, mais au moins à la somme des cotisations personnellement versées en application de l'article 9, sans addition d'intérêt, avec effet au-delà de la 4e année de fonctions : au versement d'une pension.
Selon l'art. 3, la pension est calculée sur la base du dernier traitement acquis par l'intéressé, allocations de renchérissement incluses (al. 1). Elle est au maximum de 50 % de ce traitement (al. 2). Si les fonctions ont cessé avant que l'intéressé ne les ait exercées durant douze années pleines, le taux de la pension est réduit de 3 % par année manquante (al. 3). Si elles ont cessé avant que l'intéressé ait atteint l'âge de 50 ans révolus, le taux de la pension est réduit de 1 % par année manquante (al. 4).
Quant à l'art. 4, il a la teneur suivante:
1La pension d'un conseiller communal sorti de charge avant d'avoir atteint l'âge de 40 ans révolus lui est servie durant un nombre de mois égal à celui de ses mois de fonctions.
2Dans les autres cas, la pension est servie à titre viager.
A.b B._, né le 17 juin 1965, a été élu conseiller communal de la Ville de Neuchâtel le 5 juin 2000. Il est entré en fonction le lendemain. Il n'a pas été réélu lors du scrutin populaire du 6 juin 2004. Il a quitté ses fonctions le 28 juin 2004.
Par arrêté du 29 juin 2004, le Conseil communal de la Ville l'a mis au bénéfice d'une pension de retraite pour une activité de quatre ans et un mois. La pension correspondait à 15 % du traitement de base (augmenté des allocations de renchérissement) de 186'563 fr., soit 27'985 fr. par année. La pension était payable mensuellement, la première fois le 24 juillet 2004.
A la fin du mois de septembre 2008, B._ a constaté qu'il n'avait pas reçu sa rente pour le mois de septembre 2008. Il s'en est étonné auprès de la Caisse de pensions de la Ville de Neuchâtel, qui lui a signalé que, conformément à l'arrêté du 1er octobre 1979, sa rente prenait fin après 49 mois équivalant au nombre de mois durant lesquels l'intéressé avait exercé ses fonctions de conseiller communal.
B. Par écriture du 2 juin 2010, B._ a introduit devant le Tribunal administratif du canton de Neuchâtel (actuellement Cour de droit public du Tribunal cantonal) une action dirigée contre la Ville de Neuchâtel en concluant au paiement par celle-ci d'une rente viagère et, en conséquence, à la condamnation de la Ville au versement, pour la période d'août 2008 au 31 mai 2010, d'un montant de 49'614 fr. 40, avec intérêts à 5 %, ses droits futurs étant réservés.
Statuant le 18 mai 2011, la Cour de droit public a rejeté la demande dans toutes ses conclusions.
C. Contre ce jugement, B._ exerce un recours en matière de droit public dans lequel il reprend ses précédentes conclusions.
La Ville de Neuchâtel conclut au rejet du recours.

Considérant en droit:
1. 1.1 La décision attaquée concerne une prétention issue de rapports de travail de droit public au sens des art. 83 let. g LTF et 85 al. 1 let. b LTF. En effet, il y a également lieu de considérer comme rapports de travail de droit public, au sens de ces dispositions, ceux qui concernent les membres des autorités publiques, en particulier les magistrats. Les contestations visées peuvent notamment porter sur des prétentions élevées à raison de la cessation de leurs fonctions (arrêts 8C_220/2010 du 18 octobre 2010 consid. 1.1 non publié in SJ 2011 I p. 116; 8C_558/2009 et 8C_559/2009 du 30 novembre 2009 consid. 2.1; 1D_15/2007 du 13 décembre 2007 consid. 1.2; THOMAS HÄBERLI, in Basler Kommentar zum Bundesgerichtsgesetz, 2ème éd., 2011, no 168 ad 83 LTF; ALAIN WURZBURGER, in Commentaire de la LTF, 2009, no 97 ad <ref-law>). Par ailleurs, le présent recours concerne une prétention pécuniaire. Le motif d'exclusion de l'art. 83 let. g LTF n'entre ainsi pas en considération. En outre, le seuil requis de la valeur litigieuse de 15'000 fr. (<ref-law>) est largement dépassé.
1.2 Pour le surplus, le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2. Le recourant se prévaut du principe d'égalité, plus particulièrement d'une discrimination fondée sur l'âge, et de la protection contre l'arbitraire. Selon lui, la limite d'âge de 40 ans fixée par le règlement pour fonder le droit à une rente viagère aboutit à des situations insoutenables quant à ses résultats. Ainsi, une personne âgée de 40 ans a droit, selon son espérance de vie (84,4 ans), à une rente pendant 533 mois, cependant qu'un conseiller communal sortant après 12 ans de fonction aurait droit, s'il a moins de 40 ans, à une pension pendant 144 mois, soit une différence de 389 mois. Le recourant voit une inégalité manifeste dans le fait que l'arrêté opère une distinction entre la non-réélection et la démission: en cas de réélection, il est loisible au conseiller communal (qui approche l'âge de 40 ans) de démissionner une année après seulement pour obtenir une rente viagère. Cette simple comparaison montrerait l'absurdité de la réglementation critiquée. En outre, le règlement serait doublement discriminatoire. La réduction de 3 pour cent par année manquante peut être cumulée avec la réduction de 1 pour cent si l'intéressé est âgé de moins de 50 ans. Cette réduction cumulée tient déjà compte, de manière équitable, de l'âge de l'intéressé. Les conséquences attachées aux limites d'âge de 40 et 50 ans conduisent à une situation choquante dès lors que la pension, en plus d'être limitée dans le temps, est réduite de surcroît. Le recourant serait ainsi doublement et arbitrairement pénalisé.
3. La protection de l'égalité (art. 8 Cst.) et celle contre l'arbitraire (art. 9 Cst.) sont étroitement liées. Une norme est arbitraire lorsqu'elle ne repose pas sur des motifs sérieux ou si elle est dépourvue de sens et de but (<ref-ruling> consid. 3.1 p. 250). Elle viole le principe de l'égalité de traitement consacré à l'art. 8 al. 1 Cst. lorsqu'elle établit des distinctions juridiques qui ne se justifient par aucun motif raisonnable au regard de la situation de fait à réglementer ou qu'elle omet de faire des distinctions qui s'imposent au vu des circonstances, c'est-à-dire lorsque ce qui est semblable n'est pas traité de manière identique et ce qui est dissemblable ne l'est pas de manière différente (<ref-ruling> consid. 9.1 p. 42). Au principe d'égalité de traitement, l'art. 8 al. 2 Cst. ajoute une interdiction des discriminations. Selon cette disposition, nul ne doit subir de discrimination du fait notamment de son origine, de sa race, de son sexe, de son âge, de sa langue, de sa situation sociale, de son mode de vie, de ses convictions religieuses, philosophiques ou politiques ni du fait d'une déficience corporelle, mentale ou physique. On est en présence d'une discrimination selon l'art. 8 al. 2 Cst. lorsqu'une personne est traitée différemment en raison de son appartenance à un groupe particulier qui, historiquement ou dans la réalité sociale actuelle, souffre d'exclusion ou de dépréciation. Le principe de non-discrimination n'interdit toutefois pas toute distinction basée sur l'un des critères énumérés à l'art. 8 al. 2 Cst., mais fonde plutôt le soupçon d'une différenciation inadmissible. Aussi bien des inégalités qui résultent d'une telle distinction doivent-elles faire l'objet d'une justification particulière (<ref-ruling> consid. 6.2.1 p. 348; <ref-ruling> consid. 4.1 p. 53).
4. 4.1 Il est loisible aux cantons et aux communes d'aménager leur régime de retraite des magistrats selon leur conception de l'importance et de la valeur des fonctions qu'ils exercent, comparées à celles des autres agents publics et à la situation du secteur privé (cf. SJ 2001 I 413 consid. 5a, 1P.23/2000 du 8 novembre 2000). Dans cette perspective, le législateur cantonal ou communal est en droit d'instaurer un régime de retraite différencié selon la durée des fonctions et l'âge de l'intéressé au moment de la cessation de ses fonctions. Rien ne lui interdit, dans ce contexte, de prévoir l'allocation de prestations limitées dans le temps pour des magistrats sortants encore jeunes et des rentes viagères pour les magistrats plus âgés. Une telle distinction est objectivement fondée et n'entraîne donc aucune discrimination prohibée. Elle s'inscrit dans l'évolution de la vie politique où des personnes toujours plus jeunes accèdent aujourd'hui à des exécutifs. Elle vise à éviter qu'une personne encore jeune ne reçoive une rente à vie. Elle repose aussi sur l'idée qu'il faut encourager un jeune candidat non-réélu à reprendre une activité professionnelle qui lui garantisse le niveau de vie auquel il aspire. Au plan cantonal d'ailleurs, il est fréquent qu'une rente viagère ne soit servie aux membres des gouvernements cantonaux qu'après une durée minimale de fonction et que des critères d'âge soient pris en considération (sur ces questions et pour un aperçu comparatif dans les cantons romands, voir le rapport du Conseil d'Etat neuchâtelois à l'appui d'un projet de loi sur la prévoyance professionnelle en faveur des membres du Conseil d'Etat du 28 juin 2010 [rapport no 10.042, disponible sur le site officiel de la République et canton de Neuchâtel à l'adresse http://www.ne.ch]; voir aussi PATRICK SPUHLER, Prévoyance professionnelle pour les magistrats: les exemples de Bâle-Ville et de la Confédération, in Prévoyance professionnelle suisse 20/2007 no 8, p. 89 sv.).
4.2 S'agissant de la fixation à 40 ans de la limite d'âge, elle trouve en l'espèce, comme l'ont retenu avec raison les premiers juges, une justification objective dans le fait que, jusqu'à cet âge tout au moins et selon l'expérience générale, le conseiller communal sortant conserve intactes ses chances de reprendre une activité professionnelle à la différence de magistrats plus âgés qui ont souvent interrompu une carrière professionnelle pour se consacrer à l'exercice d'une charge publique. Le cas du recourant est du reste particulièrement illustratif à cet égard. En effet, selon ses allégués, il exerce désormais la fonction de chimiste cantonal. Contrairement à ce qu'il soutient, sa prétention à une rente viagère ne saurait toutefois trouver comme justification première une compensation sur le long terme de la baisse de salaire qu'il subit dans sa nouvelle activité, le but de la pension n'étant pas de garantir le maintien d'un revenu équivalent au traitement antérieur. Quant à la comparaison avec un conseiller communal démissionnaire, on ne voit pas en quoi elle violerait le principe de l'égalité de traitement. Le conseiller démissionnaire a droit à une rente après la cinquième année de fonction seulement, ce qui implique une réélection. La condition relative à l'âge de 40 ans lui est opposable, à l'instar du magistrat non réélu.
4.3 Quant à l'effet couperet dénoncé par le recourant, il n'apparaît en tant que tel ni discriminatoire ni arbitraire. Nombre de dispositions légales contiennent des limites d'âge que ce soit pour la reconnaissance d'un droit, l'accomplissement d'une obligation ou l'obtention d'une prestation. De telles distinctions sont souvent justifiées ou même imposées par les circonstances, des minima ou des maxima étant par la force des choses inévitables (cf. BERNHARD PULVER, L'interdiction de la discrimination, 2003, p 231 ss; ETIENNE GRISEL, Egalité, Les garanties de la Constitution fédérale du 18 avril 1999, 2ème éd., 2009, p. 94; KURT PÄRLI, Altersgrenze als Diskriminierungsproblem, in Innovatives Recht, Mélanges Ivo Schwander, 2011, p. 107 ss). En matière de rentes ou de prestations d'assurance sociales en général, il n'est pas rare que la loi subordonne l'ouverture ou l'extinction d'un droit à une limite d'âge. De telles règles, à l'instar, par exemple, de celles fixant une durée minimale d'activité, de cotisation, de domicile ou encore de séjour, permettent de garantir le respect du principe de la légalité et d'assurer l'égalité de traitement ainsi que l'objectivité des critères d'attribution d'une prestation même si, fatalement, elles ont des conséquences sur les droits des personnes qui ne remplissent pas les conditions requises.
4.4 Compte tenu de ce qui précède, les griefs soulevés par le recourant se révèlent infondés.
5. Il s'ensuit que le recours doit être rejeté. Vu l'issue du litige, le recourant supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public.
Lucerne, le 13 décembre 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Juge présidant: Leuzinger
La Greffière: von Zwehl