Faits:
A. Durant les années 2006 à 2008, la société X._ SA a été mandatée par l'Etat de Vaud, agissant par son Service de l'emploi, pour dispenser des cours dans le cadre des mesures de marché du travail et des mesures d'insertion de type formation de l'assurance-chômage. Le mandat a été résilié par l'Etat de Vaud en juillet 2008.
B. Le 22 juin 2010, X._ SA a ouvert une action en paiement contre l'Etat de Vaud (défendeur 1) et la Confédération suisse (défendeur 2) devant le Tribunal administratif fédéral, faisant valoir un dommage du fait de cette résiliation. Elle a notamment requis à ce qu'une expertise soit mise en oeuvre.
Les parties s'étant mises d'accord sur le principe d'une expertise, W._, directeur au service d'audit chez Y._, a été désigné comme expert.
Par décision incidente du 19 décembre 2012, le Tribunal administratif a rendu le dispositif suivant:
1. L'objet définitif de l'expertise est fixé comme suit: [...]
2. [...].
3. Le montant total de l'avance de frais requise pour l'expertise est fixé à 89'000 fr. Ce montant est réparti entre la demanderesse et le défendeur 1 de la manière suivante:
- demanderesse: 69'000 fr.
- défendeur 1: 20'000 fr.
Cette avance de frais devra être versée jusqu'au 1er février 2013 sur le compte du Tribunal.
4. Le délai sera considéré comme observé si, avant son échéance, le montant est versé à la Poste Suisse ou débité en Suisse d'un compte postal ou bancaire en faveur de l'autorité.
5. La demanderesse est avertie qu'à défaut de verser l'avance de frais requise dans le délai imparti, l'expertise ne sera pas ordonnée et il sera statué sur son action en l'état du dossier.
6. [...]
7. Communications.
C. X._ SA interjette un recours en matière de droit public contre cette décision incidente. Sous suite de frais et dépens, elle conclut à la réforme du chiffre 3 du dispositif en ce sens que l'avance de frais requise pour l'expertise est fixée à 50'000 fr. et que ce montant est réparti entre elle et le défendeur 1 à raison de 30'000 fr. pour elle et 20'000 fr. pour le défendeur 1.
Il n'a pas été ordonné d'échange d'écritures.
Considérant en droit:
1. La décision attaquée est une décision incidente. La voie du recours contre une telle décision est déterminée par le litige principal (cf. ATF 137 III 261 consid. 1.4 p. 264; 135 I 265 consid. 1.2 p. 269). En l'occurrence, l'avance de frais a été demandée dans une procédure d'action dans le contexte de mesures de marché du travail et de mesures d'insertion de type formation, dans le domaine de l'assurance-chômage. Il s'agit, au principal, d'une cause de droit public, qui pourrait, le cas échéant, être déférée au Tribunal fédéral en application des art. 82 ss LTF. La décision incidente attaquée peut donc faire l'objet d'un recours en matière de droit public.
2. Cette décision est assujettie à l'art. 93 al. 1 LTF (ATF 137 III 324 consid. 1.1 p. 327 s.; 134 I 83 consid. 3.1 p. 86 s.). La recevabilité du recours suppose donc que cette décision soit de nature à causer un préjudice irréparable (art. 93 al. 1 let. a LTF). Une décision incidente par laquelle une avance de frais est exigée afin de garantir le paiement des frais de justice présumés, avec l'avertissement qu'à défaut le recours sera déclaré irrecevable, est susceptible de causer un tel préjudice irréparable (ATF 133 V 402 consid. 1.2 p. 403; 128 V 199 consid. 2 p. 201). En l'espèce, on peut toutefois se demander si cette dernière condition est réalisée, du moment que la sanction attachée au non-paiement de l'avance de frais ne consiste pas en l'irrecevabilité du recours mais qu'à défaut de paiement il sera statué en l'état du dossier. En outre, il est douteux que la condition du préjudice irréparable soit réalisée lorsque seul le montant de l'avance est contesté dans le cas concret et que la partie recourante ne fait pas valoir en même temps qu'elle ne dispose pas des moyens suffisants pour s'en acquitter (arrêt 4A_680/2011 du 2 décembre 2011 consid. 1).
Ces questions peuvent toutefois demeurer indécises vu le sort à réserver au grief de la recourante.
3. La recourante se plaint d'arbitraire.
3.1 Une décision est arbitraire lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou qu'elle contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité précédente que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motif objectif ou une violation d'un droit certain. Il ne suffit pas que la motivation de la décision critiquée soit insoutenable; encore faut-il que celle-ci se révèle arbitraire dans son résultat (ATF 138 I 49 consid. 7.1 p. 51; 138 III 378 consid. 6.1 p. 379 s.; 138 IV 13 consid. 5.1 p. 21 s.).
3.2 La recourante affirme que le devis de l'expert se fonde sur un tarif trop élevé par rapport au tarif usuel qui serait pratiqué dans le canton de Vaud. Elle fait valoir que les opérations qui devront être faites dans le cadre de l'expertise ne devront pas toutes être effectuées par un expert-comptable diplômé, mais par d'autres collaborateurs moins qualifiés. En outre, le nombre d'heures de travail présumé serait clairement exagéré. Elle en veut pour preuve le fait que l'expert aurait estimé l'établissement du devis (devis, modification de celui-ci, séances de travail) à un montant situé entre 14'850 fr. et 18'150 fr.
Cette argumentation n'est pas de nature à démontrer le caractère arbitraire de la décision attaquée. L'avance de frais demandée repose sur un devis établi par l'expert désigné. Si la recourante n'était pas d'accord avec le montant des honoraires présumés de ce dernier, elle avait la possibilité de demander la désignation d'un autre expert. Or, elle ne l'a pas demandé. Elle n'a pas davantage contesté la mission de l'expert. Au demeurant, on note que l'expertise se révèle être d'une assez grande ampleur. Elle a trois objets principaux à savoir:
a) L'examen des comptes de la demanderesse pour les années 2006, 2007 et 2008, afin de déterminer si les montants facturés pour les cours dispensés entre 2006 et 2008 étaient justifiés au regard des contrats et de leurs annexes, en particulier sous l'angle de frais indispensables à prendre en considération (suit une liste de 9 questions).
b) La comparaison des prestations similaires fournies par d'autres instituts offrant des prestations identiques ou semblables à celles de la demanderesse et dont les comptes ont fait l'objet d'un contrôle par le défendeur 1 (suit une liste de 7 questions).
c) L'évaluation du dommage subi par la demanderesse, en raison de la résiliation par le défendeur 1 du contrat qui le liait à la demanderesse, et ce notamment sous l'angle des frais consécutifs à la fin de la mesure du marché du travail dont la demanderesse avait la charge (suit une liste de 6 questions).
C'est dire que les frais présumés n'apparaissent pas en totale disproportion avec l'étendue du mandat qui est confié à l'expert. Il semble d'ailleurs que la recourante se trompe lorsqu'elle affirme que les honoraires liés aux opérations nécessaires à la préparation du devis sont estimés à un montant situé entre 14'850 fr. et 18'150 fr. En réalité, il s'agit plutôt d'un montant de 4'950 fr. (position 4.1 du devis; deux séances de travail, respectivement avec le juge instructeur et les parties; élaboration de deux versions du devis). Pour le surplus, la recourante - qui se contente de critiquer le devis, sans démontrer en quoi la décision attaquée serait comme telle insoutenable - n'invoque aucune disposition de procédure qui lui permettrait de contester le montant qui lui est réclamé à titre d'avance.
4. Les considérants qui précèdent conduisent au rejet du recours, manifestement mal fondé, selon la procédure simplifiée prévue à l'art. 109 al. 2 let. a LTF, sans qu'il y ait lieu d'ordonner un échange d'écritures.
Succombant, la recourante doit supporter les frais de la procédure fédérale (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 1000 fr. sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties et au Tribunal administratif fédéral, Cour II.
Lucerne, le 4 mars 2013
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente: Leuzinger
La Greffière: von Zwehl