Faits:
A. A.a C._, née en 1957, est titulaire d'un brevet de maîtresse d'école ménagère et d'ouvrages féminins. Elle a également obtenu un certificat lui permettant d'enseigner l'éducation physique aux jeunes filles.
Le 30 octobre 2000, la prénommée a été engagée par la Direction générale de l'enseignement obligatoire de l'Etat de Vaud à titre temporaire, mais au plus tard jusqu'au 31 juillet 2001, en qualité de maîtresse d'activités créatrices sur textiles au sein de l'établissement primaire X._. Pour la fixation du traitement initial, l'Office du personnel enseignant (ci-après: OPES) s'est fondé sur les règles en matière de fixation de traitement du 27 avril 2000, entrées en vigueur le 1er août 2000. C._ a été colloquée en classes 16-19 de l'échelle des traitements avec au total 9 annuités, correspondant à un salaire de 45'985 fr. pour un taux d'activité de 64,28 % (71'533 fr. pour un taux d'activité de 100 %). Après cet engagement, C._ a cessé toute activité lucrative pendant six ans.
Le 19 février 2007, C._ a été engagée pour une durée déterminée, soit jusqu'au 18 mai 2007, comme maîtresse remplaçante auprès de l'établissement primaire Y._. Elle a à nouveau été colloquée en classes 16-19 de l'échelle des traitements, mais avec uniquement quatre annuités, ce qui correspondait à un salaire de 46'864 fr. 23 pour un taux d'occupation de 71,42 % (60'563 fr. pour un taux d'activité de 100 %). Pour fixer son traitement, la Direction générale de l'enseignement obligatoire de l'Etat de Vaud s'est fondée sur une directive du secrétaire général du Département de la formation, de la jeunesse et de la culture (DFJC) du 28 juin 2006, entrée en vigueur le 1er août 2006.
Étonnée que son salaire en 2007 soit inférieur à celui perçu en 2000, C._ a demandé des explications au Service du personnel de l'Etat de Vaud (ci-après: SPEV), par lettre du 13 juin 2007. Le 3 juillet 2007, le chef de l'OPES lui a répondu que des nouveaux critères de pondération étaient entrés en vigueur le 1er août 2006 et que ces derniers ne tenaient plus compte de l'expérience faite hors enseignement. La classe de salaire 16-19 lui restait toutefois acquise. Par ailleurs, elle avait quitté l'enseignement depuis plus de six ans, de sorte que sur le plan administratif, elle était considérée comme une nouvelle collaboratrice, impliquant une nouvelle fixation du salaire ainsi qu'un nouveau contrat. Pour son engagement au 1er août 2007, son salaire correspondrait à celui perçu en mai 2007, compte tenu d'une augmentation annuelle dans l'amplitude de sa classe salariale ainsi que de l'indexation au coût de la vie en janvier 2008.
C._ a été engagée le 1er août 2007 pour une durée indéterminée en qualité de maîtresse d'activité créatrice sur textiles au sein de l'établissement primaire Z._. Elle a été colloquée en classes 16-19. Son salaire annuel brut était de 58'580 fr. 28 pour un taux d'occupation de 89,28 % (65'610 fr. pour un taux d'activité de 100 %).
Dans le cadre de la nouvelle politique salariale de l'Etat de Vaud entrée en vigueur le 1er décembre 2008, les employés ont été informés de la chaîne et du niveau de fonction qui leur seraient attribués dans le nouveau système (connu sous la désignation DECFO-SYSREM). C._ a reçu un avenant à son contrat de travail daté du 29 décembre 2008, dans lequel sa fonction a été qualifiée de maîtresse de disciplines spéciales, correspondant à la chaîne 142 de la grille des fonctions et à un niveau de fonction 10A. Après la mise en oeuvre de la nouvelle classification, C._ a été colloquée en classe 10A, échelon 4. Son salaire a été fixé à 77'186 fr. pour un taux d'occupation de 100 %.
A.b Le 19 janvier 2009, C._ a ouvert action devant le Tribunal de prud'hommes de l'administration cantonale (ci-après: TRIPAC) en contestant l'échelon de sa classe de salaire en relation avec le passage à cette nouvelle classification. A l'audience de conciliation du 27 octobre 2010, C._ a déclaré qu'elle ne contestait plus la classification de son niveau de fonction mais uniquement son salaire initial fixé en 2007 et les éléments de la bascule. Elle a par ailleurs précisé ses conclusions en ce sens qu'elle sollicitait que son traitement initial fixé en février 2007 soit arrêté à la classe 16-19 avec 10 annuités.
L'Etat de Vaud a conclu au rejet des conclusions de C._. La conciliation a échoué et une audience de jugement s'est tenue le 22 décembre 2010.
Par jugement du 13 janvier 2011, le TRIPAC a partiellement admis les conclusions prises par C._, en ce sens qu'elle avait droit au salaire correspondant aux classes 16 à 19 avec 10 annuités dès le 19 janvier 2008. Il a invité l'Etat de Vaud à recalculer le salaire après la bascule Decfo-Sysrem sur la base de ces éléments.
B. L'Etat de Vaud a recouru contre ce jugement devant la Chambre des recours du Tribunal cantonal vaudois en concluant, principalement, à sa réforme, en ce sens qu'il n'est pas entré en matière sur la demande formée par C._, son droit d'ouvrir action étant périmé. Subsidiairement, il a conclu à son annulation et au renvoi de la cause.
Par arrêt du 29 août 2011, la Chambre des recours a admis le recours (ch. I) et réformé les ch. I et III du dispositif du jugement du 13 janvier 2011 en ce sens qu'elle a rejeté les conclusions prises par C._ dans sa demande du 19 janvier 2009, telles que précisées à l'audience du 27 octobre 2010. Elle a confirmé le jugement pour le surplus.
C. C._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire dans lequel elle conclut à l'annulation de l'arrêt cantonal et au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants.
L'Etat de Vaud conclut au rejet du recours. C._ s'est encore prononcée sur ces déterminations, par écriture du 28 février 2012.
Considérant en droit:
1. 1.1 La décision attaquée a été rendue dans une cause en matière de rapports de travail de droit public. Selon l'art. 83 let. g LTF, en matière de rapports de travail de droit public (lorsque, comme en l'espèce, la question de l'égalité des sexes n'est pas en cause), le recours en matière de droit public est irrecevable contre des décisions qui concernent une contestation non pécuniaire.
1.2 La recourante ne conclut pas au versement d'une somme d'argent, mais elle demande que son salaire soit fixé selon la classe de traitement 16-19 avec 10 annuités. Dès lors que cette conclusion a un but économique qui peut être apprécié en argent, il y a lieu de considérer qu'il s'agit d'une contestation de nature pécuniaire. Il s'ensuit que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération.
1.3 Pour que le recours soit recevable, il faut encore, en principe, que la valeur litigieuse minimale de 15'000 fr. soit atteinte (art. 85 al. 1 let. b LTF). En cas de recours contre une décision finale - c'est-à-dire une décision qui met fin à la procédure (art. 90 LTF) - la valeur litigieuse est déterminée par les conclusions restées litigieuses devant l'autorité précédente (art. 51 al. 1 let. a LTF). L'autorité cantonale, conformément à l'art. 112 al. 1 let. d LTF, indique que la valeur litigieuse est de 52'024 fr., laquelle n'est pas contestée. On peut dès lors s'y référer (art. 51 al. 2 LTF).
1.4 La voie du recours en matière de droit public étant ouverte, le recours constitutionnel subsidiaire est d'emblée irrecevable (art. 113 LTF).
2. L'art. 16 al. 1 de la loi du 12 novembre 2001 sur le personnel de l'Etat de Vaud (LPers-VD; RS/VD 172.31), dans sa teneur en vigueur depuis le 1er janvier 2011, renvoie aux art. 103 ss du Code de droit privé judiciaire vaudois du 12 janvier 2010 (CDPJ; RS/VD 211.02) s'agissant de la procédure à suivre devant le Tribunal de prud'hommes de l'administration cantonale. Ces dispositions renvoient à leur tour, et sauf disposition légale contraire, aux règles du code de procédure civile suisse du 19 décembre 2008 (entré en vigueur le 1er janvier 2011) à titre de droit supplétif.
Comme la présente cause au fond était déjà pendante devant le Tribunal de prud'hommes avant le 1er janvier 2011, les premiers juges considèrent toutefois que c'est l'art. 16 al. 1 LPers dans son ancienne teneur qui reste applicable, norme qui renvoyait au Chapitre II du Titre II de la loi du 17 mai 1999 sur la juridiction du travail (aLJT), régissant la procédure devant le Tribunal de prud'hommes. Ce point n'est pas litigieux devant le Tribunal fédéral.
3. Par un grief d'ordre formel qu'il convient d'examiner en premier lieu, la recourante se plaint d'une violation de son droit d'être entendue. Elle expose qu'à l'appui de son mémoire de réponse à l'appel interjeté par l'intimé contre le jugement du TRIPAC, elle a produit six pièces (divers courriers et courriels) tendant à démontrer qu'elle n'avait cessé de questionner les éléments entrant dans le calcul de sa rémunération après son réengagement en 2007 et qu'elle avait émis des objections à leur sujet. Par ailleurs, elle avait requis des mesures d'instruction (audition de la cheffe de service adjointe au Bureau vaudois de l'égalité entre les femmes et les hommes [BEFH], ainsi que la production par le BEFH de l'intégralité de son dossier). La Chambre des recours s'est non seulement bornée à déclarer irrecevables les pièces produites mais elle n'a pas non plus motivé les raisons pour lesquelles elle n'a pas donné suite aux réquisitions des mesures d'instruction précitées. Or, dans l'arrêt entrepris, la Chambre des recours aurait reproché à la recourante d'avoir attendu plus d'une année après avoir reçu son contrat pour remettre en cause ses conditions d'engagement, plus particulièrement la fixation de son salaire, ce que les pièces produites et les réquisitions de preuves avaient pour but d'infirmer.
3.1 Le droit d'être entendu comporte notamment le droit à l'administration de preuves valablement offertes. Il n'y a toutefois pas violation de ce droit, lorsque la mesure probatoire refusée est inapte à établir le fait à prouver, lorsque ce fait est sans pertinence ou lorsque, sur la base d'une appréciation non arbitraire des preuves dont elle dispose déjà, l'autorité parvient à la conclusion que les faits pertinents sont établis et que le résultat, même favorable au requérant, de la mesure probatoire sollicitée ne pourrait pas modifier sa conviction (ATF 134 I 140 consid. 5.3 p. 148).
3.2 En l'espèce, la juridiction cantonale a considéré que la recourante n'avait pas agi dans le délai de péremption d'une année depuis la connaissance de ses conditions d'engagement (au plus tard au printemps 2007), de sorte que son action déposée le 19 janvier 2009 était manifestement prescrite. Au vu du raisonnement de la juridiction cantonale, les pièces produites par la recourante et les mesures probatoires sollicitées n'auraient eu aucun effet sur le sort de la procédure. Dans ces conditions, procédant à une appréciation anticipée des preuves, le tribunal cantonal n'a pas violé le droit d'être entendu de la recourante en écartant les pièces produites, respectivement en écartant ses réquisitions de preuves. Le grief tiré de la violation du droit d'être entendu doit être écarté.
4. Sur le fond, la recourante se plaint d'une application arbitraire par les premiers juges de l'art. 16 al. 3 LPers.
4.1 Sauf dans les cas cités expressément à l'art. 95 LTF, le recours ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal ou communal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (ATF 133 III 462 consid. 2.3 p. 466). Autrement dit, le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal et communal que sous l'angle de l'arbitraire. Il ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain, ce qu'il appartient au recourant de démontrer par une argumentation qui réponde aux exigences des art. 42 al. 2 et 106 al. 2 LTF (cf. ATF 134 II 349 consid. 3 p. 351 s.; 133 II 249 consid. 1.4.2 p. 254 et les références).
4.2 Sous le titre «procédure», l'art. 16 LPers prévoit ceci:
1 Les dispositions de procédure fixées au titre II de la loi du 17 mai 1999 sur la juridiction du travail s'appliquent par analogie.
2 Le for de l'action est à Lausanne.
3 L'action se prescrit par un an lorsqu'elle tend exclusivement à des conclusions pécuniaires fondées notamment sur une résiliation du contrat (art. 58 à 61) et par soixante jours dans les autres causes. La prescription court dès que la créance est devenue exigible ou dès la communication de la décision contestée.
4 La loi fédérale sur l'égalité entre femmes et hommes est réservée.
(...)
4.3 Les premiers juges se sont tout d'abord demandé si la détermination du salaire de la recourante constituait une décision au sens de l'art. 16 al. 3 LPers. Dans la mesure où il découlait de l'art. 19 LPers que les rapports de travail entre l'Etat et ses collaborateurs étaient régis par le droit public (al. 1) et que l'engagement et la désignation avaient lieu sous la forme d'un contrat écrit conclu pour une durée indéterminée (al. 2), ils ont considéré que le salaire était fixé par le contrat de droit administratif et ne faisait par conséquent pas l'objet d'une décision. La juridiction précédente s'est ensuite demandé quel était le dies a quo du délai d'une année prévu par l'art. 16 al. 3 LPers. Elle a considéré que faire partir le dies a quo de l'exigibilité de la créance, comme l'avaient fait les juges du TRIPAC, revenait à admettre que l'employé pouvait en tout temps contester les termes de son engagement, les prétentions financières en découlant ne pouvant toutefois être formulées que pour l'année précédant la demande en justice. Cette solution n'était pas admissible au regard des principes de sécurité et de confiance. Selon la Chambre des recours, l'art. 16 al. 3 LPers instituait un délai de procédure limitant la possibilité pour le collaborateur de contester ses conditions d'engagement au-delà du délai d'une année depuis qu'il avait eu connaissance de ses conditions d'engagement. Le texte de l'art. 16 al. 3 LPers mentionnait la prescription de l'action, renvoyant ainsi à la possibilité de saisir le TRIPAC et non aux prétentions que le collaborateur pouvait faire valoir devant cette autorité.
5. 5.1 Sur le plan littéral, on constate que le texte de l'art. 16 al. 3 LPers parle de «prescription de l'action», en prévoyant deux délais distincts, d'un an pour l'action tendant exclusivement à des conclusions pécuniaires et de 60 jours pour les autres causes. Contrairement à ce qu'a retenu la juridiction cantonale de deuxième instance, l'art. 16 al. 3 LPers n'institue pas un «délai de procédure», mais constitue, conformément à sa lettre, une règle classique de prescription, à l'instar des art. 60, 67 ou 127 CO. Le texte de l'art. 127 CO (tout comme celui des art. 60 ou 67 CO), qui indique que «toutes les actions se prescrivent» désigne précisément l'effet de la prescription sur la créance, à savoir l'extinction du droit d'action qui est lié à la créance; l'objet de la prescription demeure toutefois la créance elle-même et non un droit d'action (PASCAL PICHONNAZ, in Commentaire romand, Code des obligations I, 2e éd. 2012, n° 9 ad art. 127 CO).
Comme la disposition topique du CO (cf. art. 130 al. 1 CO), l'art. 16 al. 3, deuxième phrase, LPers fixe l'exigibilité de la créance comme point de départ de la prescription («dès que la créance est devenue exigible»). Le délai de prescription court donc à partir du moment où le créancier a le droit d'exiger la prestation du débiteur. En l'occurrence, l'intimée a contesté la fixation de son salaire initial intervenue lors de son réengagement à la Direction générale de l'enseignement obligatoire en février 2007. Ses conclusions ont donc porté sur des créances ayant un caractère salarial. Or, le salaire est en principe dû pour chaque mois de travail, à la fin du mois, de sorte que la créance de salaire naît pour chaque mois séparément et est exigible au terme de celui-ci. Aussi, le collaborateur de la fonction publique peut-il réclamer à son employeur les créances de salaire dès qu'elles sont devenues exigibles, mais seulement pour l'année précédente, en raison de la prescription prévue à l'art. 16 al. 3 LPers. En d'autres termes, le collaborateur peut en principe contester en tout temps le salaire qui lui est versé, mais la créance salariale se prescrit une année à partir du moment où elle est exigible. Compte tenu de la date à partir de laquelle les créances salariales étaient exigibles et celle à laquelle l'intimée a déposé sa demande (le 19 janvier 2009), les éventuels arriérés de salaire seraient dus à partir du 20 janvier 2008.
5.2 D'un point de vue systématique, on relèvera que l'art. 16 al. 4 LPers prévoit une réserve en faveur de la loi fédérale sur l'égalité (LEg; RS 151.1). En matière de discrimination salariale fondée sur le sexe, l'employé dispose d'une action en paiement du salaire (art. 5 al. 1 let. d LEg), laquelle porte sur les arriérés de rémunération. En droit privé comme en droit public, le délai de prescription des créances salariales fondées sur l'art. 5 al. 1 let. d LEg est de cinq ans (art. 128 ch. 3 CO) et commence à courir le dernier jour du mois, s'agissant du salaire mensuel (GABRIEL AUBERT/KARINE LEMPEN, Commentaire de la loi fédérale sur l'égalité, Genève 2011, p. 133).
On peut donc en inférer que le renvoi à la LEg prévu par l'art. 16 al. 4 LPers a seulement pour effet de réserver un délai de prescription (de cinq ans) plus long que le délai annal de l'art. 16 al. 3 LPers et que, pour le reste, la loi ne règle pas différemment le dies a quo de chacun des délais.
5.3 Suivre, enfin, le point de vue de la Chambre des recours, et admettre que le collaborateur puisse contester le salaire initial uniquement au moment de son engagement et dans l'année qui suit, reviendrait à laisser subsister des situations non conformes à la Constitution fédérale ou à des normes impératives de droit public.
Or, selon la jurisprudence, la personne concernée peut invoquer en tout temps la garantie générale de l'égalité de l'art. 8 al. 1 Cst., en cas, par exemple, de rémunérations inégales dont le caractère discriminatoire n'est pas fondé sur le sexe. A la différence de la garantie d'une rémunération égale de l'homme et de la femme, la garantie générale de l'égalité de traitement ne confère pas en droit fédéral une prétention directe au paiement d'un salaire égal à titre rétroactif. La Constitution exige seulement que l'inégalité soit éliminée d'une manière appropriée et dans un délai raisonnable. A cet égard, il est justifié de prendre en considération le moment auquel l'intéressé a contesté l'inégalité en question pour la première fois (ATF 131 I 105 consid. 3.6 et 3.7 p. 109 ss). On ne saurait donc restreindre dans un tel cas, dans lequel est invoquée la violation d'une garantie constitutionnelle ou d'une norme impérative de droit public, la possibilité de contester le salaire initialement fixé, dans les limites de la prescription applicable aux créances salariales.
5.4 Autre est en revanche la question de savoir si l'employé peut contester un salaire initial librement consenti notamment lorsque ses droits constitutionnels ne sont pas en jeu. Il s'agit là d'une question qui ne relève pas de la prescription, mais du bien-fondé de la demande. Aussi, en limitant de manière générale la possibilité pour un agent de la fonction publique d'agir en justice pour contester son salaire initial une année après avoir eu connaissance de ses conditions d'engagement, les premiers juges ont fait une application arbitraire de l'art. 16 al. 3 LPers. Il convient dès lors d'annuler le jugement attaqué et de renvoyer la cause à la Chambre des recours pour qu'elle rende une nouvelle décision, compte tenu des considérants qui précèdent.
6. Il s'ensuit que le recours est bien fondé.
Vu l'issue du litige, l'intimé supportera les frais judiciaires (art. 66 al. 1 LTF). Il versera en outre une indemnité de dépens à la recourante, qui obtient gain de cause (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière de droit public est admis et l'arrêt rendu le 29 août 2011 par la Chambre des recours du Tribunal cantonal du canton de Vaud est annulé, la cause lui étant renvoyée pour nouvelle décision au sens des considérants.
3. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge de l'intimé.
4. L'intimé versera à la recourante la somme de 2800 fr. à titre de dépens pour la dernière instance.
5. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lucerne, le 26 novembre 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Juge présidant: Leuzinger
La Greffière: Fretz Perrin