Faits : A. A._ est enseignante d'anglais au collège C._. Le 14 novembre 2014, à la demande de la Direction de l'instruction publique, de la culture et des sports (DIPCS), elle a fait l'objet d'une qualification par le recteur de l'établissement. Cette qualification faisait suite à un entretien du 13 novembre 2014. Les évaluations concernant les compétences scientifiques et pédagogiques, ainsi que le respect des plans d'étude et de perfectionnement ont été jugées comme répondant aux exigences (mention "A"). En revanche, la collaboration a reçu la mention "B" (ce qui correspond à "Laisse à désirer"). La qualification globale était également jugée comme laissant à désirer. A ce dernier propos, il était reproché à l'intéressée d'avoir refusé de donner deux leçons avant le départ d'un voyage de classe à l'étranger. L'auteur de la qualification notait en outre qu'à plusieurs reprises des problèmes de relation entre l'enseignante et ses collègues de conférence de branche était "remontés" jusqu'au rectorat. A._ a demandé le réexamen de sa qualification auprès du supérieur hiérarchique du recteur de l'établissement, à savoir le chef du Service de l'enseignement B._. Par lettre du 24 décembre 2014, ce dernier a confirmé l'évaluation faite par le recteur. Au bas de cette lettre, il était indiqué: "Selon l'art. 6 du règlement du 26 janvier 1988 sur les voies de droit relatives aux qualifications périodiques du personnel de l'Etat, cette décision est susceptible de recours au Conseil d'Etat dans un délai de trente jours". B. A._ a recouru devant le Conseil d'Etat. Statuant le 22 novembre 2016, celui-ci a déclaré le recours irrecevable au motif que les qualifications et les décisions de réexamen d'une qualification n'étaient pas susceptibles de recours séparé. C. A._ a recouru devant la I e Cour administrative du Tribunal cantonal fribourgeois. Elle a conclu à l'annulation de la décision du Conseil d'Etat et au renvoi de la cause à celui-ci pour nouvelle décision. Subsidiairement, elle a conclu à une modification de la qualification litigieuse dans le sens des motifs de son écriture. Par arrêt du 27 juillet 2017, la I e Cour administrative a rejeté, dans la mesure de sa recevabilité, le recours porté devant elle. D. A._ forme un recours constitutionnel subsidiaire dans lequel elle conclut à l'annulation de l'arrêt cantonal et au renvoi de la cause au Conseil d'Etat pour qu'il rende une décision au fond. Elle conclut aussi au paiement d'une indemnité de partie de 5'000 fr. pour la procédure devant le tribunal cantonal. A titre subsidiaire, elle demande que cette indemnité soit fixée ex aequo et bono par le Tribunal fédéral. Le Service de l'enseignement B._ renonce à se prononcer.