Faits:
A. A.a X._, établissement de droit public cantonal doté de la personnalité juridique (et constitué sous la raison sociale Xx._), a été créé au 1er janvier 2006. Il a repris l'ensemble des contrats de travail établis par les sept sites hospitaliers intégrés du canton. En 2006, le personnel de X._ était soumis à la convention collective de travail Santé21 du secteur de la santé (ci-après: CCT Santé21), à l'exception de son système de rémunération, qui n'était pas encore en vigueur. Cela avait pour conséquence de laisser subsister des disparités salariales pour un même poste en fonction du site d'affectation.
A.b Le système de rémunération de la CCT Santé21 est entré en vigueur le 1er janvier 2007 pour l'ensemble des institutions de santé subventionnées du canton. Les conditions de transposition des salaires des employés en service au 31 décembre 2006 ont fait l'objet de règles édictées par les organes de la convention et devenues applicables dès le 1er janvier 2007. Annexé à la convention, le règlement sur la rémunération (ci-après: RRE) contient les principes de fixation du salaire du personnel hospitalier. Chaque fonction est colloquée dans une chaîne et dans une classe de la grille des fonctions (art. 5 al. 1 RRE). Selon l'art. 5.1 RRE, le salaire à l'engagement est fixé en fonction de l'expérience acquise et attestée (al. 1). Les années d'expérience professionnelle dans une fonction équivalente donnent droit chacune à un échelon (al. 2), les années d'expérience professionnelle utile à la fonction à trois quarts d'échelon (al. 3) et les années d'autres expériences professionnelles ou d'expérience de vie à un quart d'échelon (al. 5).
A.c Le 1er novembre 2007, des employés de X._ ont constitué une association appelée le «Groupement du personnel de Xx._» (ci-après: le Groupement), dans le but d'intenter «une action en vue de la reconnaissance de l'ancienneté professionnelle complète pour le calcul des échelons de collocation de la CCT 21».
B. Le 27 mai 2009, le Groupement a ouvert action devant le Tribunal administratif neuchâtelois (depuis le 1er janvier 2011: Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel). Il a conclu, principalement, à la constatation d'une inégalité de traitement entre anciens et nouveaux employés en ce qui concerne la collocation des années d'expérience dans la fixation de leur salaire, subsidiairement au renvoi de la cause à X._ pour nouvel examen des dossiers et transposition des salaires à l'échelon correspondant à leurs années d'expérience, avec effet rétroactif au 1er janvier 2007. La liste des demandeurs à l'action contenait 170 membres. Parallèlement à cette action de droit administratif, d'autres employés de X._ ont également saisi la juridiction cantonale.
Par arrêt du 29 octobre 2012, la Cour de droit public a rendu son jugement dans la cause qui oppose le Groupement à X._. Constatant que le système de transposition salariale appliqué par X._ est constitutif d'une inégalité de traitement entre anciens employés repris par Xx._ et nouveaux employés engagés par lui dès le 1er janvier 2007 (ch. 1 du dispositif), elle a transmis le dossier à X._ pour réexamen individuel de la situation de chacun des demandeurs, au sens des considérants (ch. 2 du dispositif).
C. X._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire contre ce jugement, dont il requiert l'annulation. Sous suite de frais et dépens, il conclut principalement à ce que le Tribunal fédéral constate que le système de rémunération de la CCT Santé21 et les directives relatives à sa transposition ne constituent pas une inégalité de traitement devant être corrigée entre anciens employés de X._ et nouveaux employés engagés par lui dès le 1er janvier 2007. A titre subsidiaire, il conclut à l'annulation, en tout état de cause, du ch. 2 du dispositif du jugement cantonal. Préalablement, il sollicite l'octroi de l'effet suspensif à son recours.
Le Groupement conclut au rejet des recours dans la mesure de leur recevabilité. Le Tribunal cantonal a renoncé à se déterminer.

Considérant en droit:
1. 1.1 Le litige soumis à la juridiction cantonale porte sur des prétentions pécuniaires en matière de rapports de travail de droit public au sens de l'<ref-law>. Même si l'intimé n'a pas conclu au versement d'une somme d'argent en instance cantonale, il demandait que les salaires de ses 170 membres intéressés soient transposés à l'échelon correspondant à leurs années d'expérience, avec effet rétroactif au 1er janvier 2007. Cette conclusion a donc un but économique qui peut être apprécié en argent, de sorte qu'il s'agit d'une contestation de nature pécuniaire et que, partant, le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération.
1.2 La valeur litigieuse exigée de 15'000 fr. (<ref-law>) ne résulte pas des constatations de la décision attaquée. En fonction de l'issue du litige, le recourant pourrait être amené à fixer les salaires des intéressés à un échelon supérieur en fonction des années d'expérience, ce qui entraînerait une augmentation des salaires versés jusqu'à présent. Compte tenu du nombre de membres ayant adhéré au Groupement, la valeur litigieuse atteint donc manifestement le seuil requis.
1.3 X._ est particulièrement atteint par la décision attaquée, au sens de l'<ref-law> (qui s'applique en principe au recours des particuliers, mais peut, à certaines conditions réalisées en l'espèce, s'appliquer à un établissement de droit public ou une collectivité publique, touchés de façon analogue à un employeur privé; cf. <ref-ruling> consid. 2.3 p. 207). Le jugement entrepris contraint le recourant à revoir la transposition salariale effectuée à l'égard de 170 employés, de sorte qu'il a un intérêt digne de protection à son annulation.
1.4 L'arrêt attaqué est une décision de renvoi: le Tribunal cantonal a renvoyé l'affaire au recourant avec des injonctions, lui ordonnant «un réexamen individuel de la situation de chacun des demandeurs, au sens des considérants». Une telle décision ne met pas fin à la cause et elle est donc qualifiée d'incidente. Or, en vertu de l'<ref-law>, pour que le recours au Tribunal fédéral soit recevable directement contre la décision incidente, il faut qu'elle puisse causer un préjudice irréparable. La jurisprudence admet le risque d'un tel préjudice pour la collectivité publique (souvent une commune) qui doit se soumettre aux injonctions du Tribunal cantonal sans pouvoir ensuite attaquer la nouvelle décision qu'elle est tenue de rendre (cf. <ref-ruling> consid. 1.2 p. 412; <ref-ruling> consid. 5 p. 482). Tel est le cas en l'occurrence, puisque l'arrêt attaqué contraint X._ à revoir la transposition salariale effectuée à l'égard de 170 employés. La voie du recours au Tribunal fédéral est donc directement ouverte contre l'arrêt du Tribunal cantonal, nonobstant sa nature incidente.
1.5 Pour le surplus, le recours est dirigé contre un arrêt rendu par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF) et il a été déposé dans le délai prévu par la loi (<ref-law>). Le recours en matière de droit public est dès lors recevable.
Il s'ensuit qu'en raison de son caractère subsidiaire, le recours constitutionnel n'est pas recevable (<ref-law>).
1.6 Le recours en matière de droit public peut être interjeté pour violation du droit fédéral (<ref-law>), y compris le droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313). Le Tribunal fédéral applique le droit d'office (<ref-law>). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, ainsi qu'à l'<ref-law> pour la violation d'un droit constitutionnel, il n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.3 p. 584; <ref-ruling> consid. 2.2.1 p. 389; <ref-ruling> consid. 1.4).
2. 2.1 Une décision viole le principe de l'égalité consacré à l'art. 8 al. 1 Cst. lorsqu'elle établit des distinctions juridiques qui ne se justifient par aucun motif raisonnable au regard de la situation de fait à réglementer ou qu'elle omet de faire des distinctions qui s'imposent au vu des circonstances, c'est-à-dire lorsque ce qui est semblable n'est pas traité de manière identique et ce qui est dissemblable ne l'est pas de manière différente. Il faut que le traitement différent ou semblable injustifié se rapporte à une situation de fait importante (<ref-ruling> consid. 9.1 p. 42 et la jurisprudence citée). De la garantie générale de l'égalité de traitement de l'art. 8 al. 1 Cst. découle l'obligation de l'employeur public de rémunérer un même travail avec un même salaire. Dans les limites de l'interdiction de l'arbitraire, les autorités disposent d'une grande marge d'appréciation, particulièrement en ce qui concerne les questions d'organisation et de rémunération. La juridiction saisie doit observer une retenue particulière lorsqu'il s'agit non seulement de comparer deux catégories d'ayants droit mais de juger tout un système de rémunération (<ref-ruling> consid. 3.2 p. 165); elle risque en effet de créer de nouvelles inégalités (<ref-ruling> consid. 6b p. 8).
2.2 La garantie d'un salaire égal pour un travail égal n'impose pas une méthode déterminée pour l'évaluation des postes de travail, mais elle exige uniquement que le système choisi repose sur des critères objectifs et non discriminatoires. Dans les limites de l'interdiction de l'arbitraire et du principe de l'égalité de traitement, les autorités sont habilitées à choisir, parmi les multiples éléments pouvant entrer en considération, les critères qui doivent être considérés comme déterminants pour la rémunération des fonctionnaires. Le droit constitutionnel n'exige pas que la rémunération soit fixée uniquement selon la qualité du travail fourni, voire selon des exigences effectivement posées. Les inégalités de traitement doivent cependant être raisonnablement motivées, et donc apparaître objectivement défendables. Ainsi le Tribunal fédéral a-t-il reconnu que l'art. 8 Cst. n'était pas violé lorsque les différences de rémunération reposaient sur les motifs objectifs tels que l'âge, l'ancienneté, l'expérience, les charges familiales, les qualifications, le genre et la durée de la formation requise pour le poste, le temps de travail, les horaires, le cahier des charges, l'étendue des responsabilités ou les prestations (<ref-ruling> consid. 3.1 p. 107; <ref-ruling> consid. 6a-c p. 7 s.; arrêt 1C_186/2008 du 8 décembre 2008 consid. 5.1; VINCENT MARTENET, L'égalité de rémunération dans la fonction publique, PJA 1997 p. 828/829). D'autres circonstances, qui n'ont pas trait à la personne ou à l'activité du travailleur, peuvent également justifier, à tout le moins temporairement, des différences de salaire, telles une situation conjoncturelle rendant plus difficile le recrutement du personnel (arrêt 2P.10/2003 consid. 3.3) ou des contraintes budgétaires de la collectivité publique (arrêts 2P.70/2004 du 17 janvier 2005 consid. 2.1 et 2P.153/1997 du 22 décembre 1997 consid. 5b; cf. aussi MARTENET, op. cit. p. 836 ss.).
3. 3.1 La juridiction cantonale a retenu que le système de transposition salariale appliqué par X._ était constitutif d'une inégalité de traitement entre les anciens employés de Xx._ et les nouveaux employés, dès lors que les dispositions de l'art. 5.1 RRE étaient seulement appliquées aux nouveaux collaborateurs. En comparant - à expérience et fonction égales - les conditions d'engagement et de rémunération du nouveau personnel du recourant dès le 1er janvier 2007 avec celles du personnel repris des anciennes institutions, elle a constaté que la transposition des salaires franc pour franc avait fait perdre à certains employés de longue date un nombre d'échelons parfois important. Les premiers juges en ont conclu que l'ancien personnel hospitalier était (sous réserve d'exceptions) victime d'une inégalité de traitement par rapport aux employés engagés dès le 1er janvier 2007 et qu'aucune justification objective ne pouvait expliquer cette différence de traitement.
3.2 Le recourant ne conteste pas que le système de transposition salariale appliqué au personnel en service au 31 décembre 2006 a entraîné, dans certains cas, une différence de traitement entre les anciens employés de Xx._ et les employés engagés à partir du 1er janvier 2007, parce qu'à expérience et fonctions égales, les premiers n'ont pas bénéficié d'échelons supplémentaires en vertu de l'expérience acquise et attestée, en application de l'art. 5.1 RRE. Il reproche en revanche aux premiers juges d'avoir considéré à tort qu'il s'agit d'une inégalité de traitement prohibée par l'art. 8 Cst., en invoquant cinq motifs pour lesquels celle-ci aurait dû être niée.
3.2.1 Le recourant soutient en premier lieu que le système salarial contesté résulte d'une convention collective de travail passée entre différentes associations de travailleurs et plusieurs associations d'employeurs. Il s'agirait donc du résultat d'une négociation acceptée par tous les intervenants, en particulier les représentants des employés défendant les intérêts de ceux-ci, dont la correction remettrait en cause l'ensemble des pourparlers et le compromis trouvé entre les parties impliquées. La situation serait fondamentalement différente «de celles examinées par la jurisprudence dans d'autres cas, où le système salarial contesté était mis en place par l'employeur seul».
Contrairement à ce que soutient le recourant, le fait que le système salarial en cause résulte non pas d'une réglementation cantonale ou communale, mais d'une convention collective de travail (de droit public) ne modifie en rien la possibilité pour les personnes qui se prétendent lésées par une mesure d'application de ladite convention de se prévaloir d'une atteinte à leurs droits. Suivre le raisonnement du recourant reviendrait à dire que le personnel des institutions parties à une convention collective de travail ne pourrait utiliser les voies de droit prévues par celle-ci en cas de litige, ce qui serait dépourvu de sens. La référence toute générale que fait le recourant à la jurisprudence ne lui est par ailleurs d'aucun secours, dès lors qu'on ne voit pas à quelle situation concrète il entend renvoyer pour appuyer son argumentation.
3.2.2 Le recourant affirme ensuite que la différence de traitement admise par la juridiction cantonale, liée aux échelons à prendre en considération à l'intérieur d'une classe de salaire, est temporaire. A terme, les anciens employés de X._ atteindront en effet l'échelon maximum (des 25 échelons prévus par classe) et seront donc sur un pied d'égalité avec les employés engagés à partir du 1er janvier 2007. Par ailleurs, les anciens employés avaient bénéficié de la progression prévue par l'art. 6 RRE depuis la transposition, de sorte que la différence avec les nouveaux employés s'amenuisera au fil de temps et disparaîtra à terme.
Le caractère temporaire d'une inégalité de traitement relative au système salarial fait partie des circonstances concrètes au regard desquelles il convient d'examiner si une différence de traitement salarial dépasse ou non le cadre admissible. Le Tribunal fédéral a ainsi tenu compte, entre autres éléments, de la durée limitée pendant laquelle une inégalité de traitement entre employés d'un Service du feu cantonal résultant d'un nouveau système de rémunération allait subsister pour en confirmer le caractère admissible (arrêt 2P.222/2003 du 6 février 2004 consid. 4.7 et 4.8). En l'espèce, le recourant ne donne toutefois aucune indication concrète quant à la durée pendant laquelle la différence de salaire en cause perdurerait entre les deux groupes de comparaison, ni ne quantifie l'écart salarial (du moins à l'aide de quelques exemples). Faute de reposer sur une démonstration concrète, ses allégations ne sont pas établies et ne sauraient être suivies. De plus, l'argument tiré de la progression prévue à l'art. 6 RRE n'est pas pertinent, puisque celle-ci est également appliquée aux employés engagés à partir du 1er janvier 2007.
3.2.3 En troisième lieu, la transposition des anciens employés dans le nouveau système salarial n'a, selon le recourant, conduit à aucune perte salariale pour les anciens employés, puisque le principe «franc pour franc» a été appliqué. Pour nombre d'employés, elle représenterait en outre une amélioration de leur condition salariale. Pour d'autres, un montant de 3,5 millions de francs aurait été investi notamment pour corriger des pertes sur indemnités et octroyer des échelons supplémentaires, de sorte qu'une inégalité de traitement ne saurait être admise.
Avec cette argumentation, le recourant perd de vue que l'inégalité de traitement invoquée par l'intimé en instance cantonale et reconnue par le Tribunal cantonal neuchâtelois ne résulte pas du fait que les anciens employés des sept sites intégrés auraient subi une perte de salaire par rapport à leur situation avant la création de Xx._. Il invoque par ailleurs en vain les situations d'employés qui auraient profité d'une amélioration de leur condition salariale ou les investissements effectués pour corriger des inégalités de traitement, dès lors que les membres du Groupement n'ont pas bénéficié de tels amélioration et avantages. Selon les constatations de la juridiction cantonale, que le recourant ne remet pas en cause, les employés concernés, au regard notamment des différents cas sélectionnés par l'intimé, se sont vu accorder moins d'échelons dans la nouvelle classification salariale que les personnes nouvellement engagées, alors qu'ils disposaient d'une même formation et du même nombre d'années d'expérience.
3.2.4 Toujours pour le recourant, l'inégalité de traitement, à supposer qu'elle existe, est justifiée par un motif objectivement soutenable, à savoir les difficultés budgétaires et financières des collectivités publiques et, «par ricochet» des établissements de droit public tel X._.
Cet argument ne résiste pas à l'examen. On ne voit pas en quoi - et le recourant ne l'explique pas - l'absence de ressources financières justifiait d'attribuer aux employés nouvellement engagés des échelons supplémentaires dans la classe de salaire, à formation et expériences égales, par rapport aux employés déjà en fonction. Des difficultés financières constituent bien plutôt des circonstances qui peuvent conduire la collectivité publique à engager des nouveaux collaborateurs à des conditions salariales inférieures à celles prévalant pour les anciens employés. Au demeurant, le recourant ne démontre pas concrètement qu'il n'était pas en mesure, en raison de difficultés budgétaires et financières, de faire bénéficier les anciens employés des mêmes échelons dans une classe de salaire que ceux attribués aux nouveaux employés disposant d'une formation et d'une expérience identiques.
3.2.5 Le recourant souligne, enfin, la portée pratique du présent litige qui dépasserait la seule situation des membres du Groupement. La correction du système salarial imposée par le jugement entrepris nécessiterait un investissement de 5 millions de francs, afin d'éviter de nouvelles inégalités de traitement, et concernerait en définitive plus de cinq mille personnes, car elle impliquerait une révision de l'ensemble du système de rémunération de la CCT Santé21.
Le fait que d'autres personnes, respectivement un nombre considérable d'employés de X._ pourraient être concernés par l'issue de la présente cause ne modifie en rien l'existence d'une inégalité de traitement telle que retenue par la juridiction cantonale, pour laquelle le recourant n'a pas indiqué un motif justificatif valable. Que l'admission de prétentions individuelles puisse avoir des effets sur le système des salaires de la collectivité publique concernée et entraîner, le cas échéant, des modifications de ce système, c'est là une conséquence du droit à l'égalité de traitement découlant directement de la Cst. (cf. <ref-ruling> consid. 3c p. 267). Quand l'autorité judiciaire saisie, qui doit certes observer une retenue particulière lorsqu'il s'agit de juger tout un système de rémunération d'une collectivité publique (consid. 2.2 supra), constate une violation de l'art. 8 al. 1 Cst. dans un cas particulier, celle-ci doit être éliminée.
3.3 En conséquence de ce qui précède, l'argumentation du recourant n'est pas de nature à remettre en cause le jugement cantonal, si bien qu'il convient de rejeter sa conclusion principale.
4. Dans une conclusion subsidiaire, le recourant soutient qu'en cas d'admission d'une inégalité de traitement, il ne devrait pas être tenu à un «réexamen individuel de la situation» de chacun des membres du Groupement, comme le lui impose le ch. 2 du dispositif de l'arrêt attaqué, mais devrait avoir la possibilité de décider de remanier globalement le système de rémunération de tout le personnel. Aussi, requiert-il l'annulation du ch. 2 du dispositif.
L'instruction du Tribunal cantonal, selon laquelle le recourant doit réexaminer individuellement la situation de chacun des demandeurs au sens des considérants, ne préjuge en rien de la manière dont X._ est tenu d'apporter les correctifs propres à remédier à l'inégalité de traitement admise par les premiers juges. Dans leurs considérants, ceux-ci ont expressément indiqué qu'il appartiendra «à Xx._ de procéder à un réexamen individuel de la classification de chacun des demandeurs ou, ce dont les demandeurs pourraient se mordre les doigts, un réexamen intégral du système de transposition, en fonction des possibilités financières du système de santé neuchâtelois». Dès lors que le recourant est libre de choisir la manière dont il veut supprimer l'inégalité de traitement à l'égard des personnes concernées, sa conclusion subsidiaire est également mal fondée.
5. Les considérants qui précèdent conduisent à l'irrecevabilité du recours constitutionnel subsidiaire et au rejet du recours en matière de droit public. Vu l'issue du litige, les frais de justice sont mis à la charge du recourant qui succombe (<ref-law>). Il en va de même de l'indemnité de dépens que peut prétendre l'intimé (<ref-law>).
6. La cause étant tranchée, la requête d'effet suspensif devient sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière de droit public est rejeté.
3. Les frais judiciaires, arrêtés à 5000 fr. sont mis à la charge du recourant.
4. Le recourant versera à l'intimé la somme de 2800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
5. Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public.
Lucerne, le 2 avril 2013
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente: Leuzinger
La Greffière: Moser-Szeless