Faits:
A. B._, né en 1942, a travaillé en qualité d'enseignant à l'Ecole X._, placée sous mandat de gestion du Centre Y._ depuis le 1er janvier 2001, du mois de septembre 1968 au mois de septembre 2007, date à laquelle il a pris sa retraite. Il a également enseigné au Gymnase N._, devenu Lycée Z._, de 1983 jusqu'à sa retraite.
Selon la réglementation cantonale applicable, le personnel enseignant bénéficie d'une période hebdomadaire de décharge dès l'âge de 55 ans révolus et de trois périodes hebdomadaires dès l'âge de 60 ans révolus. Tandis que, dans sa fonction au Lycée Z._, B._ a effectivement bénéficié de cette mesure, il n'en a pas été de même à l'Ecole X._. Par lettre du 20 juillet 2002, l'intéressé, en prévision de son 60ème anniversaire, a déclaré renoncer "pour les années à venir" à ses décharges horaires, pour des motifs pédagogiques, afin de ne pas imposer à ses élèves deux professeurs pour la même branche (chimie et biochimie).
Le 1er octobre 2008, B._ a saisi le Département de l'éducation, de la culture et des sports du canton de Neuchâtel (DECS) d'une demande tendant au paiement par l'Etat de Neuchâtel d'un montant correspondant aux heures de décharge à l'Ecole X._ auxquelles il avait renoncé du mois de mars 2003 au mois de septembre 2007, soit la somme de 35'644 fr. 29 plus accessoires. Le Service de la formation professionnelle et des lycées du DECS a rejeté la demande par décision du 16 octobre 2008.
Saisi d'un recours, le DECS l'a rejeté par décision du 17 mars 2009.
B. B._ a recouru contre cette décision devant la Cour de droit public du Tribunal administratif du canton de Neuchâtel. La juridiction cantonale a converti le recours en une action de droit administratif au motif que selon le droit de procédure cantonal, le tribunal administratif connaît en instance unique des actions fondées sur le droit administratif et portant notamment sur des prestations pécuniaires découlant des rapports de service des agents de l'Etat. Statuant le 15 décembre 2009, elle a rejeté la demande.
C. B._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut, sous suite de frais et dépens, à ce que l'Etat de Neuchâtel soit condamné à lui payer la somme de 35'644 fr. 30 plus intérêts à 5 % l'an sur 4'501 fr. 12 dès le 1er janvier 2004, sur 13'058 fr. 04 dès le 1er janvier 2005, sur 21'422 fr. 15 dès le 1er janvier 2006, sur 29'820 fr. 67 dès le 1er janvier 2007 et sur 35'644 fr. 29 dès le 1er septembre 2007. Subsidiairement, il demande le renvoi de la cause à la juridiction cantonale pour nouvelle décision au sens des considérants.
Représenté par le Département de la justice, de la sécurité et des finances, l'Etat de Neuchâtel conclut au rejet du recours.

Considérant en droit:
1. 1.1 Selon l'art. 83 let. g LTF, en matière de rapports de travail de droit public (lorsque, comme en l'espèce, la question de l'égalité des sexes n'est pas en cause), le recours en matière de droit public est irrecevable contre les décisions qui concernent une contestation non pécuniaire. Une affaire doit être considérée comme pécuniaire dès lors qu'elle a un but économique et que son objet peut être apprécié en argent (arrêt 1C_116/2007 du 24 septembre 2007 consid. 2). Ainsi, le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération en l'occurrence.
1.2 Pour que le recours soit recevable, il faut encore, en principe, que la valeur litigieuse minimale de 15'000 fr. soit atteinte (<ref-law>). En cas de recours contre une décision finale - c'est-à-dire une décision qui met fin à la procédure (<ref-law>), qu'il s'agisse d'une décision sur le fond ou d'une décision d'irrecevabilité (<ref-ruling> consid. 4.1.1 p. 480; <ref-ruling> consid. 1.2.1 p. 110) - la valeur litigieuse est déterminée par les conclusions restées litigieuses devant l'autorité précédente (<ref-law>). En l'occurrence, le seuil requis de la valeur litigieuse est atteint.
1.3 Le recours peut être interjeté pour violation du droit suisse tel qu'il est délimité à l'<ref-law>, soit le droit fédéral (let. a), y compris le droit constitutionnel, le droit international (let. b), les droits constitutionnels cantonaux (let. c), les dispositions cantonales sur le droit de vote des citoyens ainsi que sur les élections et votations populaires (let. d) et le droit intercantonal (let. e). Sauf dans les cas cités expressément à l'<ref-law>, le recours ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral - en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels - ou d'une disposition directement applicable du droit international, par exemple de la Convention européenne des droits de l'homme (CEDH; Message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, in FF 2001, p. 4133). A cet égard, le Tribunal fédéral n'examinera le moyen tiré de la violation d'une norme de rang constitutionnel que si le grief a été invoqué et motivé de manière précise (<ref-law>).
1.4 Pour le surplus, interjeté en temps utile et dans les formes requises contre une décision finale prise en dernière instance cantonale non susceptible de recours devant le Tribunal administratif fédéral, le recours respecte les exigences des art. 42, 86 al. 1 let. d, 90 et 100 al. 1 LTF. Le recours en matière de droit public est par conséquent recevable.
2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
3. 3.1 Le recourant invoque une violation du droit d'être entendu. D'une part, il allègue un défaut de motivation du jugement attaqué, lequel est fondé sur une jurisprudence fédérale en matière d'égalité salariale dont la référence n'est toutefois pas indiquée dans le jugement. D'autre part, le recourant reproche à la juridiction cantonale de n'avoir pas statué sur sa requête d'audition de F._, lequel aurait pu témoigner que la renonciation à une décharge horaire était motivée exclusivement par des raisons pédagogiques.
3.2 Selon la jurisprudence, le droit d'être entendu comporte notamment l'obligation pour le juge de motiver sa décision, afin que ses destinataires et toutes les personnes intéressées puissent la comprendre et l'attaquer utilement en connaissance de cause s'il y a lieu, et qu'une autorité de recours soit en mesure, si elle est saisie, d'exercer pleinement son contrôle. Il comprend aussi le droit pour le justiciable de fournir des preuves quant aux faits de nature à influer sur le sort de la décision (cf. <ref-ruling> consid. 2a/aa p. 16; <ref-ruling> consid. 2c p. 372; <ref-ruling> consid. 1a p. 181, et les références).
Le droit d'être entendu est une garantie constitutionnelle de caractère formel, dont la violation doit en principe entraîner l'annulation de la décision attaquée indépendamment des chances de succès du recourant sur le fond (<ref-ruling> consid. 3d/aa p. 437).
Par exception au principe de la nature formelle du droit d'être entendu, la jurisprudence admet qu'une violation de ce dernier principe est considérée comme réparée lorsque l'intéressé jouit de la possibilité de s'exprimer librement devant une autorité de recours disposant du même pouvoir d'examen que l'autorité précédente et pouvant ainsi contrôler librement l'état de fait et les considérations juridiques de la décision attaquée (<ref-ruling> consid. 2.2 p. 204; <ref-ruling> consid. 2.2.3 p. 135; <ref-ruling> consid. 3d/aa p. 437; <ref-ruling> consid. 2b p. 132).
Par exception au principe de la nature formelle du droit d'être entendu, la jurisprudence admet qu'une violation de ce dernier principe est considérée comme réparée lorsque l'intéressé jouit de la possibilité de s'exprimer librement devant une autorité de recours disposant du même pouvoir d'examen que l'autorité précédente et pouvant ainsi contrôler librement l'état de fait et les considérations juridiques de la décision attaquée (<ref-ruling> consid. 2.2 p. 204; <ref-ruling> consid. 2.2.3 p. 135; <ref-ruling> consid. 3d/aa p. 437; <ref-ruling> consid. 2b p. 132).
3.3 3.3.1 En l'espèce, bien que le jugement attaqué n'en indique pas la référence, le recourant, qui est représenté par un avocat, connaît la jurisprudence invoquée par la juridiction précédente puisqu'il s'y réfère à l'appui de son recours. On ne saurait dès lors considérer que ce défaut d'indication ait empêché l'intéressé de comprendre la décision entreprise et de l'attaquer utilement en connaissance de cause. Par ailleurs, il a la possibilité de présenter son argumentation au sujet de la jurisprudence en cause devant la Cour de céans, laquelle contrôle librement les considérations juridiques du jugement attaqué.
Le grief de défaut de motivation n'est dès lors pas de nature à justifier l'annulation du jugement entrepris pour violation du droit d'être entendu.
3.3.2 En ce qui concerne le refus de la juridiction cantonale d'entendre le témoignage de F._, le recourant indique que ce moyen de preuve était de nature à établir qu'il n'avait pas renoncé à la décharge à cause d'une absence de diminution de ses facultés et de son rendement liée à l'âge mais exclusivement pour des motifs pédagogiques, à savoir afin d'éviter que ses élèves aient deux professeurs pour la même branche. Par le témoignage requis, l'intéressé entendait démontrer le caractère choquant de l'inégalité de traitement découlant du fait que l'Etat n'impose pas à tous les enseignants qui y ont droit de bénéficier de leur décharge en raison de l'âge et ne rémunère pas ceux qui y renoncent spontanément.
En l'occurrence, ce témoignage ne concerne toutefois pas des faits de nature à influer sur le sort de la décision, du moment que - comme on le verra ci-après - le recourant ne peut se prévaloir d'une inégalité salariale pour obtenir la condamnation de l'intimé à lui payer les indemnités réclamées.
Le grief de violation du droit d'être entendu apparaît ainsi mal fondé.
4. Sous le titre "Horaire de travail", l'art. 25 de la loi du canton de Neuchâtel sur le statut de la fonction publique du 28 juin 1995 (LSt; RS/NE 152.510) dispose que le Conseil d'Etat fixe la durée et l'horaire de travail des titulaires de fonctions publiques. Sous le titre "Décharge pour raison d'âge", l'art. 21 du règlement général d'application de la loi sur le statut de la fonction publique dans l'enseignement du 21 décembre 2005 (RSten; RS/NE 152.513) prévoit ceci:
1Le personnel enseignant est déchargé par l'autorité d'une période hebdomadaire dès l'âge de 55 ans révolus et de trois périodes hebdomadaires dès l'âge de 60 ans révolus.
2Pour certaines catégories de maîtres de l'enseignement professionnel, en fonction de la spécificité de leur enseignement, la décharge correspond à deux périodes hebdomadaires dès l'âge de 55 ans révolus et à quatre périodes hebdomadaires dès l'âge de 60 ans révolus.
3Cette mesure est applicable dès le 15 août qui suit l'âge de référence. Elle concerne les titulaires d'une charge d'enseignement complète mais peut s'appliquer également aux bénéficiaires d'une retraite partielle à partir de 60 ans, selon des modalités définies par le département.
Cette disposition a été reprise de l'art. 14 de l'ancien règlement des enseignants du 3 juillet 1996 (en vigueur jusqu'au 31 décembre 2005; ci-après: aREns) sous réserve de l'al. 3 où les termes "dès le début de l'année scolaire" ont été remplacés par l'expression "dès le 15 août".
En l'espèce, le recourant a renoncé à bénéficier de la mesure prévue aux art. 14 aREns et 21RSten durant la période où il enseignait à l'Ecole X._. Le litige porte sur le point de savoir s'il a droit à une indemnité équitable en contrepartie de cette renonciation.
5. 5.1 La juridiction cantonale a rejeté le grief d'inégalité salariale soulevé par B._ pour justifier son droit à une indemnité. Elle a considéré qu'en cas d'inégalité salariale non fondée sur le sexe, un employé public n'a pas un droit subjectif à un salaire égal, mais seulement un droit à la suppression de l'inégalité. Aussi, la garantie générale de l'égalité de traitement ne confère-t-elle pas un droit au paiement d'un salaire avec effet rétroactif, mais seulement la possibilité d'obtenir, pour l'avenir, la "régularisation" de l'inégalité de manière appropriée et dans un délai raisonnable. Dans la mesure où la première réclamation de l'intéressé a été présentée à une époque à laquelle son droit au traitement avait déjà pris fin, la juridiction précédente est d'avis qu'il ne peut fonder ses conclusions sur le principe général d'égalité.
Le recourant conteste ce point de vue en faisant valoir que celui-ci ne tient pas compte des principes jurisprudentiels exposés dans l'arrêt <ref-ruling>. Selon l'intéressé, l'interdiction de discrimination salariale peut être invoquée a posteriori également, de sorte qu'un droit au paiement de l'arriéré de salaire peut reposer sur le principe de l'égalité de traitement. Dans son cas, ce principe justifie donc qu'il obtienne une rémunération supplémentaire pour sa renonciation à une décharge au sens des art. 21 RSten et 14 aREns.
5.2 Le point de vue du recourant est mal fondé. Contrairement à la garantie à une rémunération égale de l'homme et de la femme qui confère un droit subjectif en vertu de la réglementation spécifique (art. 4 al. 2, 3ème phrase, aCst.; art. 8 al. 3 Cst.; loi fédérale sur l'égalité entre femmes et hommes du 24 mars 1995 [LEg]), la garantie générale de l'égalité de traitement de l'art. 8 al. 1 Cst. ne confère pas directement un droit subjectif à un salaire égal en cas de rémunération discriminatoire non fondée sur le sexe, mais seulement un droit à la suppression de l'inégalité. De la garantie générale de l'égalité de traitement découle l'obligation de l'employeur public de rémunérer un même travail avec un même salaire. Dans les limites de l'interdiction de l'arbitraire, les autorités disposent d'une grande marge d'appréciation dans le choix des critères déterminants pour la fixation de la rémunération. Cette marge d'appréciation a son importance lorsqu'il s'agit de supprimer une inégalité salariale non fondée sur le sexe. Contrairement à la garantie d'une rémunération égale de l'homme et de la femme, la garantie générale de l'égalité de traitement ne confère pas en droit fédéral une prétention directe au paiement d'un salaire égal à titre rétroactif. La Constitution exige seulement que l'inégalité soit éliminée d'une manière appropriée et dans un délai raisonnable. A cet égard, il est justifié de prendre en considération le moment auquel l'intéressé a contesté l'inégalité en question pour la première fois. Selon la jurisprudence, il n'est pas insoutenable ni arbitraire de corriger une inégalité salariale au titre de la garantie générale de l'égalité de traitement avec effet seulement depuis le moment où l'intéressé fait valoir sa prétention (<ref-ruling> consid. 3.6 et 3.7 p. 109 ss).
En l'espèce, la juridiction cantonale a constaté que l'intéressé avait demandé, pour la première fois après la fin des rapports de travail, à être indemnisé pour sa renonciation à la décharge. Cela étant, il apparaît - sans qu'il soit nécessaire d'examiner s'il était victime d'une inégalité salariale par rapport aux enseignants qui ont bénéficié effectivement d'une décharge selon les art. 21 RSten et 14 aREns - que le recourant ne peut pas se prévaloir de la garantie générale de l'égalité de traitement pour obtenir une rémunération supplémentaire en contrepartie de sa renonciation à ladite décharge.
6. 6.1 Par ailleurs, la juridiction cantonale a considéré que l'intéressé n'avait pas droit à une telle rémunération au titre du paiement d'heures supplémentaires ou de vacances non prises. Selon les premiers juges, la note marginale "Décharge pour raison d'âge" des art. 21 RSten et 14 aREns indique sans équivoque que la mesure consistant à exiger moins d'un enseignant à compter d'un certain âge tient compte d'une relative baisse des facultés due à l'âge. Il ne s'agit ni de vacances, ni de congés, régis quant à eux par les art. 19 ss aREns et 46 ss RSten. La décharge horaire vise, en effet, d'autres objectifs que le congé et les vacances, périodes de repos destinées non seulement à protéger le travailleur ou le fonctionnaire contre le surmenage occasionné par une durée excessive de travail, mais aussi à lui permettre de s'épanouir et de participer à la vie culturelle. Quant à la décharge horaire, qui s'inscrit dans le cadre de l'activité hebdomadaire de l'enseignant, elle permet, selon la juridiction cantonale, de pallier la baisse, due à l'âge, des facultés et du rendement de ce dernier. La décharge lui permet ainsi de mieux faire face aux tâches qu'il doit accomplir en dehors de ses heures d'enseignement. Dès lors, les heures de décharge qui seraient consacrées à l'enseignement plutôt qu'à d'autres tâches, par un fonctionnaire susceptible et capable de les assumer volontairement, en plus de ses autres obligations, ne sauraient constituer des heures supplémentaires. Pour ce motif, les premiers juges sont d'avis que les prétentions salariales du recourant sont mal fondées.
Celui-ci soutient que la juridiction cantonale a violé de façon arbitraire l'art. 21 RSten. Selon lui, les premiers juges perdent de vue que chaque période d'enseignement engendre un travail supplémentaire (préparation, corrections) qui doit être accompli en dehors des heures de cours. Par ailleurs, si certaines personnes ressentent une baisse des facultés en raison de l'âge, les enseignants compensent assurément cette baisse grâce à l'expérience accumulée au cours de leur carrière, de sorte que le rendement effectif ne diminue pas drastiquement chez la plupart des enseignants. C'est pourquoi seule une faible partie des enseignants a réellement besoin du double avantage que procure la décharge (diminution du nombre d'heures d'enseignement et des tâches annexes). Le recourant en déduit que, contrairement au point de vue de la juridiction cantonale, la décharge pour raison d'âge prévue par les art. 21 RSten et 14 aREns confère essentiellement aux enseignants un avantage sous la forme d'un temps de repos supplémentaire.
6.2 La thèse du recourant n'est pas convaincante. En effet, on ne voit pas pourquoi l'employeur public accorderait des avantages particuliers sous la forme d'un temps de repos supplémentaire à des enseignants ayant atteint certaines tranches d'âge. En tout cas, l'intéressé n'indique pas les raisons pour lesquelles le législateur cantonal aurait opté pour une telle solution qui favoriserait certaines catégories d'enseignants au détriment des autres. Quoi qu'il en soit, l'interprétation des art. 21 RSten et 14 aREns par les premiers juges n'apparaît pas insoutenable, dans la mesure où ils considèrent que la décharge horaire permet de pallier la baisse, due à l'âge, des facultés et du rendement de l'enseignant et excluent que cette décharge équivaille à des vacances ou à des congés.
Cela étant, le recourant ne peut non plus prétendre une indemnité au titre du paiement d'heures supplémentaires ou de vacances non prises.
7. L'intéressé ne pouvant déduire une prétention ni de la garantie générale de l'égalité de traitement ni du droit à la rémunération d'heures supplémentaires ou de vacances non prises, il n'est pas nécessaire d'examiner s'il commet un abus de droit en réclamant après coup une indemnité équitable en contrepartie de sa renonciation à une décharge pour raison d'âge.
8. Vu ce qui précède, le jugement entrepris n'est pas critiquable et le recours se révèle mal fondé.
9. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, d'un montant de 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt sera communiqué aux parties et à la Cour de droit public du Tribunal administratif du canton de Neuchâtel.
Lucerne, le 20 septembre 2010
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Ursprung Beauverd