Faits:
A. C._ était enseignante à l'école primaire de X._. Par décision du 28 avril 2008, l'Administration communale l'a licenciée pour la fin de la période scolaire 2007-2008.
C._ a déposé un recours administratif auprès du Conseil d'Etat du canton du Valais (ci-après Conseil d'Etat). Elle a conclu à l'annulation du licenciement au motif qu'un conseiller communal aurait dû se récuser.
Le 4 mars 2009, le Conseil d'Etat a annulé le prononcé communal pour violation des règles sur la récusation, renvoyé la cause au Conseil communal pour nouvelle décision et alloué 800 fr. de dépens à la recourante, à la charge de la commune de X._.
B. C._ a formé un recours de droit administratif contre cette décision auprès du Tribunal cantonal du Valais. Elle a conclu à l'octroi d'une indemnité de dépens de 4000 fr. pour la procédure devant le Conseil d'Etat. Elle a également conclu à une indemnité de dépens pour la procédure judiciaire de recours.
Par jugement du 19 juin 2009, le Tribunal cantonal a rejeté le recours de C._ et mis les frais par 1'200 fr. à la charge de cette dernière.
C. C._ interjette un recours constitutionnel subsidiaire contre ce jugement dont elle demande l'annulation. Elle conclut également à l'octroi d'une indemnité pour la procédure fédérale.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 24; <ref-ruling> consid. 1 p. 140).
2. 2.1 Aux termes de l'<ref-law>, le Tribunal fédéral connaît des recours constitutionnels contre les décisions des autorités cantonales de dernière instance qui ne peuvent faire l'objet d'aucun recours selon les art. 72 à 89. Le recours est recevable contre les décisions qui mettent fin à la procédure (décision finale; <ref-law> en relation avec l'<ref-law>). Il est également recevable contre les décisions partielles, c'est-à-dire celles qui statuent sur un objet dont le sort est indépendant de celui qui reste en cause ou qui mettent fin à la procédure à l'égard d'une partie des consorts (<ref-law> en relation avec l'<ref-law>). Enfin il est recevable contre les décisions préjudicielles et incidentes aux conditions posées aux art. 92 et 93 LTF (en relation avec l'<ref-law>). La décision accessoire sur les frais judiciaires, les dépens ou une amende procédurale doit être qualifiée de la même manière que la décision principale à laquelle elle se rattache (<ref-ruling> consid. 1.2 p. 331; <ref-ruling> consid. 2.1. p. 647).
2.2 Pour dire si la décision est finale au sens de l'<ref-law>, il ne faut pas considérer isolément la procédure de recours devant l'instance précédant immédiatement le Tribunal fédéral; il faut examiner si la décision attaquée a pour effet de clore la procédure entamée en première instance. Par ailleurs, il faut qualifier de décision incidente toute décision qui n'est ni finale ni partielle (Bernard Corboz, in: Commentaire de la LTF, Berne 2009, n° 9 ad art. 90 et n° 7 ad art. 92). Il s'agit notamment de décisions qui portent sur la compétence ou sur une demande de récusation (<ref-law>) ou encore de jugements qui renvoient la cause à l'autorité administrative pour instruction complémentaire et nouvelle décision; en effet, de tels jugements ne mettent pas fin à la procédure ouverte devant l'autorité administrative, ni ne statuent sur un objet dont le sort est indépendant de celui qui reste litigieux (<ref-ruling> consid. 4.2 p. 481). Cette jurisprudence est également valable pour des recours contre des décisions de dernière instance cantonale qui confirment une décision de renvoi pour clarification des faits par la première instance (arrêt 8C_901/2008 du 4 février 2009 consid. 2).
3. 3.1 Dans le cas présent, le Conseil d'Etat a annulé la décision du Conseil communal de X._ du 28 avril 2008 pour défaut de récusation de l'un de ses membres et lui a renvoyé la cause pour qu'il statue à nouveau. Cette décision n'a pas mis fin à la procédure administrative sur le fond, la commune devant se prononcer une nouvelle fois sur le licenciement. Le jugement cantonal, qui porte exclusivement sur la question accessoire des dépens pour la procédure devant le Conseil d'Etat, n'a pas davantage mis fin à cette procédure administrative. Il s'agit donc d'une décision incidente et non d'une décision finale.
3.2 Selon la jurisprudence, le prononcé accessoire sur les dépens, contenu dans une décision incidente, n'est pas de nature à causer un préjudice irréparable au sens de l'<ref-law>. Il peut néanmoins faire l'objet d'un recours immédiat au Tribunal fédéral dans le cadre d'un recours contre la décision incidente sur le point principal, à supposer qu'une telle voie de droit soit ouverte selon les art. 92 et 93 LTF. A défaut, il n'est possible de contester la répartition des frais et dépens que dans un recours dirigé contre la décision finale, conformément à l'<ref-law>. Il convient toutefois de réserver le cas où cette décision finale est favorable à l'intéressé, de sorte qu'il n'a plus d'intérêt à recourir sur le fond. La voie de recours directe au Tribunal fédéral est alors ouverte contre cette décision incidente sur les dépens, une fois la décision finale rendue (<ref-ruling> consid. 1.2.1 sv. p. 332 ss; voir également arrêt 2C_759/2008 du 6 mars 2009 consid. 2.3 ss).
3.3 En l'occurrence, le Conseil d'Etat a donné raison à la recourante sur la question principale relative à la récusation. Comme la procédure devant le Tribunal cantonal ne portait que sur la question accessoire des dépens, le jugement entrepris ne peut pas faire l'objet d'un recours immédiat au Tribunal fédéral. C._ doit par conséquent attendre la décision finale portant sur son licenciement, pour interjeter un recours contestant le montant des dépens.
4. Compte tenu de l'issue du litige, les frais judiciaires sont mis à la charge de la recourante, qui supportera également ses propres dépens (art. 66 al. 1 ainsi que 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du Valais.
Lucerne, le 6 novembre 2009
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Ursprung Métral