Faits:
A. X._, ressortissante coréenne, née en 1976, s'est inscrite au mois de juin 2006 auprès de l'Institut des Hautes Etudes Internationales et du Développement (ci-après: l'IHEID), à Genève, pour suivre un programme de master en études internationales, spécialisation « Economie internationale ». La durée des études était de quatre semestres consécutifs, pendant lesquels l'étudiante devait obtenir 120 crédits, dont 30 provenaient du mémoire et 90 de la réussite aux examens.
En septembre 2007 déjà, X._ avait du retard dans l'obtention des crédits prévus par le programme. Au mois de février 2008, le Professeur A._, responsable du département d'économie, lui a indiqué qu'une prolongation d'une année serait envisageable, si elle suivait le dernier semestre de cours en passant les cinq examens correspondants et qu'elle présentait son mémoire à temps. L'intéressée a réussi deux examens au terme du semestre d'été 2008 et a déposé son mémoire à la fin du mois de septembre 2008, après avoir reçu de l'aide du Dr B._, professeur invité par l'IHEID pour l'année académique 2006-2007 et travaillant depuis au Fonds monétaire international. Ce dernier lui avait conseillé de changer de sujet et de reprendre une problématique dont lui-même s'occupait, en étendant ses recherches dans des domaines non encore explorés. Considérant que le mémoire de X._ constituait un plagiat des travaux du Dr B._, dont elle avait repris les résultats sans mentionner ses sources, le Professeur A._ a transmis le dossier au directeur du Master.
B. Par décision du 9 octobre 2008, l'IHEID a prononcé l'élimination de X._, au motif qu'elle n'avait pas obtenu le total de 90 crédits d'enseignement requis par le programme et qu'elle avait commis un acte de plagiat dans son mémoire.
X._ a fait opposition contre cette décision et a obtenu de pouvoir suivre les cours pendant la durée de la procédure. A l'issue du cinquième semestre, elle s'est présentée à deux examens qu'elle a réussis. Le 19 février 2009, le professeur d'économétrie, branche où elle avait obtenu la note 5 à l'examen, a appuyé sa demande d'extension d'une année académique.
Par décision du 18 mars 2009, le directeur de l'IHEID a rejeté l'opposition. Estimant que le plagiat était grave, il a jugé l'élimination conforme au principe de la proportionnalité. Il a en outre relevé que l'étudiante n'avait acquis, au 29 septembre 2008, que 48 crédits sur les 90 requis, de sorte qu'il n'y avait pas lieu d'entrer en matière sur ses autres requêtes, notamment la prolongation d'une année.
C. Statuant sur le recours de X._, le Tribunal administratif du canton de Genève l'a admis partiellement, par arrêt du 1er juin 2010. Il a ainsi annulé la décision du 18 mars 2009 en tant qu'elle portait sur le plagiat, en considérant que la recourante ne pouvait pas être éliminée pour ce motif. En revanche, il a estimé que cette décision devait être confirmée en tant qu'elle se fondait sur l'insuffisance des crédits obtenus par l'intéressée à l'issue du quatrième semestre.
D. Agissant par la voie du recours de droit public (recte: recours en matière de droit public), X._ conclut, avec suite de frais et dépens, à l'annulation de l'arrêt du Tribunal administratif du 1er juin 2010 et demande au Tribunal fédéral de :
« 1. Ordonner à l'IHEID d'organiser les examens prévus par le règlement en vue de l'obtention d'un master en économie à l'exception des matières où la recourante a obtenu une note supérieure ou égale à 4;
2. Dire que ce nouvel examen ne pourra porter que sur la documentation remise à la recourante durant les quatre semestres effectués à l'IHEID depuis l'automne 2006 à l'été 2008;
3. Faire évaluer le mémoire déposé par Madame X._ au mois de septembre 2008 intitulé « Fiscal policy and interest rates in the european union: an empirical Analysis » par un nouveau jury en faisant abstraction du grief de plagiat (...). »
La recourante présente aussi une demande d'assistance judiciaire.
Le Tribunal administratif persiste dans les considérants et le dispositif de son arrêt. L'IHEID, représenté par sa Fondation, conclut, avec suite de frais et dépens, au rejet du recours dans la mesure de sa recevabilité.
Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF) et contrôle librement la recevabilité des recours qui lui sont soumis (ATF 136 I 43 consid. 1 p. 43; 136 II 101 consid. 1 p. 103).
1.1 D'après l'art. 83 let. t LTF, le recours en matière de droit public n'est pas ouvert à l'encontre des décisions sur le résultat d'examens ou d'autres évaluations des capacités, notamment en matière de scolarité obligatoire, de formation ultérieure ou d'exercice d'une profession. Selon la jurisprudence, les décisions d'exmatriculation d'une université ou d'une haute école ou celles d'élimination d'une faculté ou d'un programme d'études peuvent tomber sous le coup de l'art. 83 let. t LTF. Encore faut-il, pour que la voie du recours en matière de droit public soit fermée, que la décision d'exmatriculation ou d'élimination soit en lien avec une évaluation des capacités de l'étudiant évincé (cf. 2D_77/2009 du 26 avril 2010, consid. 1.1; 2D_57/2009 du 3 décembre 2009; 2D_142/2008 du 23 avril 2009 consid. 1.2 et 2C_313/2007 du 21 août 2007, consid. 2.2).
1.2 En l'espèce, la recourante a été éliminée en application de l'art. 8 ch. 3 du règlement d'application du master en études internationale du 1er novembre 2005 (ci-après : RA), parce que le comité exécutif de l'IHEID a considéré que son mémoire constituait un plagiat. Obtenant ainsi la note 0, elle n'a pas pu comptabiliser les 30 crédits associés à la rédaction d'un mémoire (cf. art. 5 ch. 2 let. b RA). Il a aussi retenu que l'étudiante n'avait pas passé tous les examens requis et n'avait ainsi obtenu que 48 crédits sur les 90 nécessaires (cf. art. 5 ch. 2 let. a RA). Dans l'arrêt attaqué, le Tribunal administratif constate qu'il n'y a pas eu plagiat, que la recourante ne pouvait pas être éliminée pour ce motif et que l'IHEID aurait dû annuler le résultat du mémoire, en admettant que la recourante présente un nouveau texte, conformément à l'art. 8 ch. 3 RA. Il a cependant renoncé à renvoyer la cause à l'IHEID sur ce point, dans la mesure où il a jugé fondée la deuxième cause d'élimination de la recourante, soit l'insuffisance des crédits obtenus à l'issue du quatrième semestre. Le Tribunal administratif a considéré en outre comme justifié le refus de la prolongation d'études sollicitée par la recourante. Au regard de l'arrêt attaqué et des conclusions prises par la recourante, il faut admettre que la décision d'élimination n'est pas directement liée aux capacités de l'étudiante et que le présent recours est donc recevable comme recours en matière de droit public, ce qui exclut le recours constitutionnel subsidiaire mentionné comme voie de droit dans la décision attaquée (art. 113 LTF a contrario).
2. 2.1 Les faits litigieux se sont produits avant l'entrée en vigueur, le 17 mars 2009, de la nouvelle loi sur l'université du 13 juin 2008 (LU; RSGE C 1 30). Partant, il n'est pas contesté que le cas de la recourante doit être traité selon l'ancien droit, soit le règlement interne relatif aux procédures d'opposition et de recours du 14 juin 2007 (RIOR), l'ancienne loi sur l'université du 26 mai 1973 (aLU) et l'ancien règlement sur l'université du 7 septembre 2008 (aRU). Par ailleurs, la recourante ayant débuté ses études en automne 2006, elle est soumise au règlement d'études du master en études internationales du 25 novembre 2005 (ci-après: aRE) et à son règlement d'application (RA).
2.2 Sous réserve de cas non réalisés en l'espèce (cf. art. 95 lettres c et d LTF), le Tribunal fédéral ne revoit pas le droit cantonal en tant que tel, à moins que son application se révèle contraire au droit fédéral, qui comprend le droit constitutionnel (art. 95 lettre a LTF). Par conséquent, une application arbitraire du droit cantonal, contraire à l'art. 9 Cst., constitue un motif de recours pouvant être invoqué dans le cadre d'un recours en matière de droit public (cf. ATF 133 III 462 consid. 2.3 p. 466; 133 II 249 consid. 1.2.1 p. 251/252). Le Tribunal fédéral n'examine toutefois pas cette question d'office, mais uniquement si le grief est soulevé et dûment motivé par le recourant (art. 106 al. 2 LTF).
3. La recourante sollicite tout d'abord une correction de l'état de fait qui serait, selon elle, susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Elle se prévaut, sur ce point, du nouveau règlement d'études des masters du 13 juin 2008 (RE), applicable aux étudiants commençant leurs études après le 15 septembre 2008, date de son entrée en vigueur, qui poserait des conditions d'admission plus restrictives en ce sens qu'il exige que les candidats soient au moins titulaires d'un bachelor ou d'un diplôme jugé équivalent dans la ou les disciplines pertinentes pour le programme concerné. A son avis, ce durcissement des conditions d'admission démontre que la direction a réalisé que les étudiants qui n'avaient pas un diplôme équivalent à un bachelor suisse en sciences économiques n'avaient quasiment aucune chance d'obtenir le master en quatre semestres. Elle en déduit que, n'étant pas en possession d'un diplôme jugé équivalent dans les matières enseignées (économie, macroéconomie, développement international), son dossier n'aurait pas été retenu si elle s'était présentée en 2008. Compte tenu du fait qu'elle n'avait pas la formation requise pour suivre le programme du master, elle se trouvait bien dans une situation exceptionnelle au sens de l'art. 22 al. 3 aRU, nécessitant la prolongation d'une année de ses études.
Si le règlement 2008 concerne bien le master en études internationales pour lequel s'était inscrite la recourante (cf. art. 1er RE), l'IHEID relève que cette nouvelle réglementation n'aurait pas eu d'influence sur l'examen des conditions d'admission de l'intéressée. Il faut en effet admettre qu'il lui appartenait d'indiquer précisément ses études universitaires antérieures lors de sa demande d'admission. Or, elle avait mentionné qu'elle allait obtenir, en juin 2006, le « Master of Arts in EU Studies in Economics», après six ans d'études universitaires, à Séoul. Contrairement à ce qu'elle prétend, ce n'était pas à l'IHEID de vérifier si tous les cours qu'elle avait suivis étaient d'un niveau suffisant pour lui permettre de suivre le programme de master en études internationales, à Genève. Par la suite, la recourante a réalisé qu'elle n'avait pas le bagage nécessaire pour suivre les cours sans difficultés et elle a prétendu que son master n'était qu'un simple cours d'introduction en économie, sans mathématiques et statistiques. Ces faits ont été pris en compte par le Tribunal administratif dans son appréciation juridique des circonstances exceptionnelles de l'art. 22 al. 3 aRU et n'ont donc pas à être complétés. Pour le reste, l'on ne voit pas très bien en quoi la prise en considération des conditions d'admission au master plus restrictives selon le nouveau règlement pourrait servir la recourante, si ce n'est pour constater qu'elle n'aurait jamais dû s'inscrire à l'IHEID, parce qu'elle n'avait pas les connaissances requises. La même constatation s'impose pour le courrier électronique du Dr B._ du 3 octobre 2008, qui reconnaît que la recourante n'avait pas le niveau exigé pour faire son mémoire et que les conditions d'admission à l'IHEID posaient problème.
4. Le motif d'élimination pour plagiat n'étant plus en cause, seul demeure le motif fondé sur l'insuffisance des crédits obtenus à l'issue du quatrième semestre, que la juridiction cantonale a confirmé. A cet égard, la recourante reproche aux juges cantonaux d'avoir arbitrairement refusé d'admettre qu'elle aurait dû bénéficier d'une dérogation et d'avoir violé le principe de la bonne foi.
4.1 Selon l'art. 10 aRE, sauf dérogation prévue par le règlement d'application, un candidat qui n'a pas obtenu les 120 crédits requis (30 pour le mémoire et 90 pour les examens) est éliminé du programme de master en études internationales.
Les dérogations sont prévues à l'art. 4 ch. 3 RA, selon lequel un candidat qui, pour des motifs fondés d'ordre professionnel ou personnel, ne s'estime pas en mesure de compléter le programme dans le délai de quatre semestres doit solliciter une dérogation dans sa demande d'admission. Une dérogation peut être octroyée par le directeur du programme master et est notifiée avec la décision d'admission. En dehors de ce cas particulier, le directeur du programme de master ne peut accorder une suspension des études ou une prolongation du délai de quatre semestres que pour des raisons de force majeure (notamment maladie, accidents) ou de maternité dûment certifiées.
4.2 Il n'est pas contesté qu'à l'issue du quatrième semestre, la recourante n'avait obtenu que 48 crédits d'enseignement sur les 90 requis. En ce qui concerne la possibilité de bénéficier d'une dérogation, la recourante se plaint du caractère arbitraire de l'art. 4 ch. 3 RA qui l'empêche de pouvoir obtenir une année d'études supplémentaire, parce qu'elle n'en avait pas fait la demande lors de son admission, mais en février 2008 seulement. A son avis, cette disposition créerait une inégalité de traitement en mettant sur le même pied un candidat qui est conscient de son incapacité à compléter le programme dans le délai de quatre semestres et celui qui, comme la recourante au moment de son inscription, ne l'est manifestement pas et fait confiance à la direction de l'IHEID qui l'avait estimée capable de faire ses études en quatre semestres sur la base du dossier qu'elle avait présenté.
Dans son argumentation, la recourante perd de vue que les dérogations accordées sur la base de l'art. 4 ch. 3 RA ne sont pas prévues pour combler les lacunes de formation d'un candidat qui, de ce fait, éprouve des difficultés à suivre son programme d'études en quatre semestres. Une prolongation d'une année avait d'ailleurs été envisagée à bien plaire par le Professeur A._, si elle suivait le dernier semestre en passant les cinq examens correspondants, mais la recourante n'avait réussi que deux examens au terme du semestre d'été 2008. Quant au fait quelle n'aurait pas été consciente de ses lacunes lors de sa demande d'admission, la recourante ne saurait en faire porter la responsabilité à l'IHEID, comme déjà indiqué. Ayant eu connaissance du programme des cours, c'est elle-même qui devait réaliser que plusieurs matières lui étaient inconnues et que cela nécessiterait un travail supplémentaire, qu'il serait peut-être difficile d'exécuter en quatre semestres. Sur ce point, la recourante est particulièrement mal venue de se prévaloir du principe de la bonne foi, dans la mesure où l'on voit mal comment l'IHEID pourrait donner des assurances à un candidat, lors de son inscription, sur ses capacités à réussir ses études en quatre semestres.
La juridiction cantonale relève en outre à juste titre que lorsque la recourante a sollicité la prolongation d'une année en février 2008, elle n'a pas allégué de raisons de force majeure qui seules permettent l'octroi d'une dérogation en cours de programme du master. Ce n'est en effet que dans la procédure d'opposition que l'intéressée a fait valoir des problèmes de santé, qui l'avaient contrainte à consulter un médecin en octobre 2008, et le fait qu'ils étaient préexistants, bien qu'elle n'ait jamais mentionné une telle cause précédemment. La justification de ce silence, soit la dépression dont elle souffrait et qu'elle voulait garder secrète, n'a à juste titre pas été prise en compte par les premiers juges qui ont estimé sans arbitraire qu'au vu du certificat médical produit et de l'audition du médecin traitant, l'état d'angoisse et de détresse extrême de l'étudiante était lié à l'accusation de plagiat et à son échec en économie, soit à des évènements postérieurs à la demande de prolongation.
4.3 Dans ces circonstances, il n'est pas insoutenable, ni contraire à l'égalité de traitement de retenir que la recourante ne remplissait pas les conditions de l'art. 4 ch. 3 RA pour obtenir une dérogation.
5. La recourante soutient aussi que son élimination sur la base de crédits insuffisants est arbitraire et contraire au principe de la proportionnalité.
5.1 Une décision est arbitraire lorsqu'elle contredit clairement la situation de fait, qu'elle viole gravement une norme ou un principe juridique clair et indiscuté ou qu'elle heurte d'une manière choquante le sentiment de la justice et de l'équité. A cet égard, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. De plus, pour qu'une décision soit annulée, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (ATF 134 I 263 consid. 3.1 p. 266, 140 consid. 5.4 p. 148), ce qu'il appartient au recourant de démontrer, conformément à l'art. 106 al. 2 LTF (ATF 133 I 149 consid. 3.1 p. 153). En outre, en matière d'examens, le Tribunal fédéral fait preuve d'une réserve particulière. Il se borne à vérifier que l'autorité chargée d'apprécier l'examen ne se soit pas laissée guider par des considérations étrangères à l'examen ou manifestement insoutenables, au point que sa décision apparaisse comme arbitraire (ATF 136 I 229 consid. 6.2 p. 238; 131 I 467 consid. 3.1 p. 473 et les références).
5.2 Selon l'art. 22 al. 2 let. a aRU, l'étudiant qui échoue à un examen ou à une session d'examens auxquels il ne peut plus se présenter en vertu du règlement d'études est éliminé. L'alinéa 3 de cette disposition précise que la décision d'élimination est prise par le doyen de la faculté ou par le président d'école, lesquels tiennent compte des situations exceptionnelles.
Dans sa réponse au recours, l'IHEID relève que la décision d'élimination pour n'avoir pas obtenu le nombre de crédits nécessaires (art. 10 aRE) constitue l'ultima ratio et qu'avant cette mesure, l'étudiant a la possibilité de repasser les examens sanctionnés par une note insuffisante (art. 7 ch. 2 aRE), ce qu'a d'ailleurs fait la recourante. En outre, lors de son audition devant le Tribunal cantonal, le Professeur C._, qui était resté le directeur du mémoire de la recourante, a déclaré que l'IHEID avait donné toutes ses chances à l'étudiante; par exemple, elle avait suivi à trois reprises les cours de macro-économie et obtenu la moyenne à l'examen. Quant à l'arrêt attaqué, il retient que la recourante n'avait pas démontré le lien entre la décompensation psychologique constatée en octobre 2008 et son échec aux examens, en particulier à la session de juin 2008. Les professeurs avaient certes reconnu qu'il était plus difficile pour un étudiant qui ne disposait pas d'une solide préparation en économie d'obtenir le master, mais qu'il était possible d'y parvenir, de sorte que la recourante ne se trouvait pas dans une situation exceptionnelle au sens de l'art. 22 al. 3 aRU.
On peut se demander dans quelle mesure, sans le plagiat reproché à la recourante, le directeur de l'IHEID n'aurait pas accepté d'entrer en matière sur la demande de prolongation d'une année supplémentaire et d'examiner celle-ci en tenant compte du courrier que lui avait adressé le professeur d'économétrie du 19 février 2009 au sujet des résultats encourageants de l'étudiante durant le cinquième semestre qu'elle avait suivi à bien plaire. Cette question peut cependant demeurer indécise, du moment que le Tribunal administratif a constaté sans arbitraire que les circonstances exceptionnelles n'étaient pas réalisées dans le cas de la recourante. Certes, il n'a pas examiné la proportionnalité de la décision d'élimination au regard de son annulation partielle, en tant qu'elle portait sur l'accusation de plagiat, et de la situation de la recourante après le cinquième semestre. L'argumentation présentée par l'IHEID dans sa réponse au recours, permet toutefois de constater que la décision d'élimination pour défaut de crédits est intervenue après plusieurs aménagements accordés à la recourante durant ses études, de sorte qu'elle n'apparaît pas a priori comme étant disproportionnée.
6. Au vu de ce qui précède, le recours doit être rejeté.
La recourante a présenté une demande d'assistance judiciaire qui doit être également rejetée dans la mesure où ses conclusions paraissaient vouées à l'échec (art. 64 al. 1 LTF). Partant, les frais judiciaires doivent être mis à la charge de la recourante, en tenant compte de sa situation financière (art. 65 al. 1 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens à l'IHEID qui a agit dans le cadre de ses attributions officielles et s'est fait représenté par un professeur associé à l'Université (art. 68 al. 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge de la recourante.
4. Le présent arrêt est communiqué aux mandataires des parties et au Tribunal administratif du canton de Genève.
Lausanne, le 17 novembre 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Rochat