Faits:
A. Par jugement du 28 mars 2012, le Tribunal correctionnel de l'arrondissement de La Broye et du Nord vaudois a reconnu X._ coupable d'actes d'ordre sexuel avec une enfant et de viols, l'a condamné à une peine privative de liberté de trente mois, dont dix-huit mois avec sursis pendant trois ans, cette peine étant partiellement complémentaire à celle prononcée le 22 juillet 2009 par la Chambre d'instance criminelle de Albergaria-a-Velha (Portugal). Sur le plan civil, l'intéressé a été astreint à verser à la victime une indemnité de 15'000 fr. pour tort moral.
B. Par jugement du 6 juillet 2012, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._.
Pour l'essentiel, elle a retenu les faits suivants:
B.a Le 12 mars 2009, vers 17h00, A._, née le 11 mars 1995, est allée se balader au bord du lac à Yverdon-les-Bains, où elle a croisé son oncle par alliance, X._, né le 2 novembre 1983, en visite en Suisse chez sa famille depuis quelques jours, avec qui elle avait eu une conversation au sujet de problèmes familiaux un peu plus tôt dans la journée.
Après avoir repris leur discussion, X._ a entraîné sa nièce dans des buissons à l'abri des regards et a commencé à l'embrasser sur la bouche.
Il a obtenu de sa nièce qu'elle se couche par terre, lui a caressé le dos ainsi que les seins à même la peau et, malgré le refus de celle-ci, lui a descendu le pantalon et le slip et lui a caressé le vagin. Après s'être dévêtu à son tour, il s'est jeté sur la jeune fille et, à tout le moins partiellement, l'a pénétrée vaginalement, sans préservatif, lors même qu'elle tentait de le repousser. Après que son oncle lui eut demandé de ne rien dire au sujet de ce qui venait de se passer, la jeune fille s'est rhabillée et est partie.
B.b A Yverdon-les-Bains, dans l'appartement du père de A._, à une date indéterminée en mai ou juin 2010, X._ a entretenu une relation sexuelle avec la jeune fille. Pour parvenir à ses fins, il s'est allongé sur elle et lui a tenu les mains en arrière de la tête en même temps qu'il la pénétrait. La jeune fille a essayé d'enlever ses mains et de se relever, mais en vain, X._ lui tenant les mains encore plus fort. Après l'acte sexuel, il a dit à sa nièce de se taire sur ces événements; à défaut, elle aurait des problèmes avec lui.
C. Contre ce dernier jugement, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut à la réforme du jugement en ce sens qu'il est condamné pour actes d'ordre sexuel avec une enfant (et non également pour viols) à une peine privative de liberté fixée à dire de justice mais d'au maximum 24 mois, avec sursis pendant trois ans, et au paiement d'une indemnité pour tort moral d'un montant que justice dira. En outre, il sollicite l'assistance judiciaire.
Invitée à se déterminer, l'intimée a conclu au rejet du recours et requis l'assistance judiciaire.
Le recourant a renoncé à déposer des observations complémentaires.

Considérant en droit:
1. Le recourant conteste sa condamnation pour viol.
1.1 L'<ref-law> réprime le comportement de celui qui, notamment en usant de menace ou de violence, en exerçant sur sa victime des pressions d'ordre psychique ou en la mettant hors d'état de résister, aura contraint une personne de sexe féminin à subir l'acte sexuel.
Le viol (<ref-law>) et la contrainte sexuelle (<ref-law>) supposent l'emploi des mêmes moyens et la même situation de contrainte (<ref-ruling> consid. 2a p. 99). Il s'agit notamment de l'usage de la violence (cf. consid. 1.2) et de l'exercice de pressions psychiques (cf. consid. 1.3).
1.2 La violence désigne l'emploi volontaire de la force physique sur la personne de la victime dans le but de la faire céder (<ref-ruling> consid. 2b p. 100; arrêt 6B_267/2007 du 3 décembre 2007 consid. 6.3; 6S.688/1997 du 17 décembre 1997 consid. 2b, cité in: Hans Wiprächtiger, Aktuelle Praxis des Bundesgerichtes zum Sexualstrafrecht, RPS 1999 p. 121 ss p. 133). Il n'est pas nécessaire que la victime soit mise hors d'état de résister ou que l'auteur la maltraite physiquement. Une certaine intensité est néanmoins requise. La violence suppose non pas n'importe quel emploi de la force physique, mais une application de cette force plus intense que ne l'exige l'accomplissement de l'acte dans les circonstances ordinaires de la vie (<ref-ruling>). Selon les circonstances, un déploiement de force relativement faible peut suffire. Ainsi, peut déjà suffire le fait de maintenir la victime avec la force de son corps, de la renverser à terre, de lui arracher ses habits ou de lui tordre un bras derrière le dos (arrêt 6S.126/2007 du 7 juin 2007, consid. 6.2).
1.3 En introduisant la notion de " pressions psychiques ", le législateur a voulu viser les cas où la victime se trouve dans une situation sans espoir, sans pour autant que l'auteur ait recouru à la force physique ou à la violence (<ref-ruling> consid. 3a/bb p. 110-111; <ref-ruling> consid. 2b p. 100 et les références citées).
L'infériorité cognitive et la dépendance émotionnelle et sociale peuvent - en particulier chez les enfants et les adolescents - induire une pression psychique extraordinaire et, partant, une soumission comparable à la contrainte physique, les rendant incapables de s'opposer à des atteintes sexuelles. La jurisprudence parle de " violence structurelle ", pour désigner cette forme de contrainte d'ordre psychique commise par l'instrumentalisation de liens sociaux.
Pour que l'infraction soit réalisée, il faut que la pression psychique visée par l'<ref-law> soit importante. Certes, la loi n'exige pas que la victime soit totalement hors d'état de résister. L'effet produit sur la victime doit cependant être grave et atteindre l'intensité d'un acte de violence ou d'une menace (<ref-ruling> consid. 3.1 p. 170 s.). L'exploitation de rapports généraux de dépendance ou d'amitié ou même la subordination comme celle de l'enfant à l'adulte ne suffisent en règle générale pas pour admettre une pression psychologique au sens de l'<ref-law> (<ref-ruling> consid. 2.2 p. 109; <ref-ruling> consid. 2b/aa et cc p. 99 et 102).
En outre, l'auteur doit utiliser les relations sociales comme moyen de pression pour obtenir des faveurs sexuelles. Ainsi, la considération selon laquelle la subordination cognitive et la dépendance émotionnelle et sociale peuvent produire une pression psychique doit être vue sous l'angle du délinquant sexuel, qui transforme cette pression en un moyen de contrainte pour parvenir à ses fins. Il ne suffit pas que l'auteur exploite une relation de pouvoir, privée ou sociale, préexistante. Il doit créer concrètement une situation de contrainte (tatsituative Zwangssituation). Il suffit, lorsque la victime résiste dans la mesure de ses possibilités, que l'auteur actualise sa pression pour qu'il puisse être admis que chacun des actes sexuels n'a pu être commis qu'en raison de cette violence structurelle réactualisée (<ref-ruling> consid. 2.2 p. 109 et 2.4 p. 111 s.).
Pour déterminer si l'on se trouve en présence d'un viol, il faut procéder à une appréciation globale des circonstances concrètes déterminantes. Une appréciation individualisée est nécessaire, laquelle doit reposer sur des éléments suffisamment typiques (ATF <ref-ruling> consid. 2b p. 99, 106 consid. 3a/bb p. 111; <ref-ruling> consid. 3b p. 159). La mesure de l'influence qui doit avoir été exercée sur la victime pour qu'il y ait pression d'ordre psychique n'est pas aisément déterminable, de sorte qu'il y a lieu de se montrer prudent dans l'application des dispositions réprimant le viol et la contrainte sexuelle (ATF <ref-ruling> consid. 2b p. 99, 106 consid. 3b/aa p. 111).
Dans l'<ref-ruling>, le Tribunal fédéral a considéré que l'auteur qui avait, pendant cinq ans, commis des actes sexuels sur la fille de sa concubine, âgée initialement de dix ans, avait exercé sur la fillette une pression psychique, compte tenu du jeune âge de la victime et du fait qu'elle était légèrement débile. Il a tenu compte de la personnalité de la victime, de son âge, du fait qu'elle n'était pas consentante (tentative d'écarter la main de l'auteur) et de sa situation familiale précaire, ainsi que de la position d'autorité de l'auteur, de son caractère et de l'ordre de se taire imposé par lui à l'enfant. Dans l'ATF <ref-ruling>, il a été retenu que l'auteur, qui avait abusé d'une enfant de dix ans, avait exploité sa supériorité générale qu'il tirait de son statut d'adulte, son autorité quasi-paternelle, ainsi que les sentiments amicaux et l'attachement que lui témoignait la fillette, et qu'il l'avait placée face à un conflit de conscience qui la paralysait et la mettait hors d'état de résister. Dans l'ATF <ref-ruling>, il a été admis qu'un enseignant de sport avait usé, pour abuser de ses élèves mineures, de sa supériorité générale d'adulte et de l'affection que lui portaient les jeunes filles, qui l'idolâtraient; il avait utilisé la concurrence existant entre les élèves qu'il entraînait et leurs faiblesses personnelles pour atteindre ses buts; le rapport de dépendance avait été encore renforcé par la position et la popularité du recourant au sein de la communauté villageoise.
2. Il convient d'examiner en premier lieu les événements de mars 2009.
2.1 Le premier juge a considéré que l'usage de la violence n'était pas suffisamment caractérisé pour retenir le viol avec contrainte physique. Suivant le premier juge, la cour cantonale a retenu que le recourant avait usé de contrainte sous la forme de pressions psychiques. Selon elle, le jeune âge de la victime, son inexpérience de la sexualité, le statut d'oncle par alliance de l'auteur, son insistance ont permis au recourant de passer outre le refus de l'intimée sans avoir recours à la violence physique ou à des menaces. Le recourant était devenu le confident de sa nièce alors que celle-ci traversait une période difficile tant sur le plan sentimental que familial, la jeune fille étant, à l'époque, en proie à d'importants conflits de loyauté à l'égard de ses parents. Au vu de ces éléments, la cour cantonale a conclu que c'était à juste titre que les premiers juges avaient retenu que l'intimée avait subi une pression psychique la rendant incapable de s'opposer aux atteintes sexuelles de la part de son oncle. Celui-ci avait en effet profité de la fragilité psychologique de sa nièce et avait intentionnellement exploité le contexte familial qui lui conférait une positon dominante pour contraindre l'intimée à deux reprises à l'acte sexuel (jugement attaqué p. 18 s.).
2.2 Les éléments retenus par la cour cantonale ne suffisent pas à fonder une contrainte sous la forme de pressions psychiques.
Le jeune âge de la victime (14 ans), l'inexpérience en matière sexuelle, l'insistance du recourant sont des éléments communs à tout acte sexuel avec des enfants, qui ne justifient pas en soi l'application de la disposition réprimant le viol.
Le statut d'oncle par alliance n'est pas non plus déterminant. En effet, le recourant vivait au Portugal et ne venait qu'occasionnellement en Suisse. Il ne détenait dès lors pas l'autorité dans le ménage de l'intimée et son statut n'était pas comparable au père ou à l'ami de la mère. La cour cantonale n'a pas expliqué en quoi le recourant aurait néanmoins endossé un rôle quasi paternel, de sorte que la jeune fille se serait trouvée dans une dépendance émotionnelle et sociale, qui l'aurait empêchée de se soustraire à ses avances. Elle a certes expliqué que le recourant était devenu le confident de la jeune fille, alors que celle-ci traversait une période difficile tant sur le plan sentimental que familial et était en proie à d'importants conflits de loyauté à l'égard de ses parents. L'arrêt attaqué ne donne toutefois aucune précision sur les difficultés rencontrées et sur leurs répercussions sur la personnalité de la jeune fille. Or ces seules constatations de fait ne suffisent pas pour admettre que l'intimée se trouvait dans un lien de dépendance par rapport au recourant et que celui-ci aurait " instrumentalisé " ce lien pour créer une situation de contrainte. Les faits constatés n'établissent pas une pression d'une intensité assez forte pour créer une situation sans espoir. Comme l'a déclaré la jurisprudence à maintes reprises, un simple rapport d'amitié ou amoureux ne suffit pas pour fonder des pressions d'ordre psychique.
Enfin, le recourant a certes demandé à la jeune fille de ne rien dire au sujet de ce qui s'était passé (jugement p. 11). Le jugement attaqué ne constate pas qu'il a prononcé des menaces à l'encontre de la jeune fille ou de ses proches.
2.3 L'état de fait cantonal constate que l'intimée a refusé que le recourant lui descende son pantalon et qu'elle a tenté de le repousser. Il retient certes une certaine opposition de l'intimée, mais ne dit mot sur la violence qu'aurait exercée le recourant. Dans ces conditions, suivant les instances cantonales et contrairement à l'intimée, il faut admettre que l'usage de la force n'est pas suffisamment caractérisé pour retenir le viol avec usage de la violence.
2.4 En définitive, les éléments constatés par la cour cantonale ne suffisent pas pour retenir le viol en ce qui concerne les événements du 12 mars 2009. Il n'est pas établi que le recourant a usé de violence (consid. 2.3) ou exercé des pressions d'ordre psychique (consid. 2.2.). Son statut d'oncle et les rapports généraux d'amitié et de confident ne suffisent pas en soi à fonder des pressions d'ordre psychique.
Le comportement du recourant reste toutefois répréhensible et tombe sous le coup de l'<ref-law>, ce que le recourant ne conteste du reste pas.
Etant donné que le recours est admis en ce qui concerne les événements survenus le 12 mars 2009, les griefs relatifs à l'établissement des faits lors de cette journée deviennent sans objet. Reste à examiner les événements du printemps 2010.
3. Le recourant conteste également sa condamnation pour viol en ce qui concerne les événements du printemps 2010.
3.1 Le recourant critique l'établissement des faits, qu'il qualifie de manifestement inexact. Il s'en prend en particulier à la crédibilité des explications données par l'intimée.
3.1.1 Le Tribunal fédéral est un juge du droit. Il ne peut revoir les faits établis par l'autorité précédente que si ceux-ci l'ont été de manière manifestement inexacte, c'est-à-dire arbitraire (<ref-ruling> consid. 5.1 p. 356). On peut renvoyer, sur la notion d'arbitraire, aux principes maintes fois exposés par le Tribunal fédéral (voir par ex: <ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 4.2 p. 560 ; <ref-ruling> consid. 1.3 p. 4/5; <ref-ruling> consid. 5.4 p. 148; <ref-ruling> consid. 3.1 p. 153 et les arrêts cités). En bref, pour qu'il y ait arbitraire, il ne suffit pas que la décision attaquée apparaisse discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat.
Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si un tel moyen est invoqué et motivé par le recourant (<ref-law>). Le recourant qui se plaint d'arbitraire doit démontrer, par une argumentation claire et détaillée, que cette décision se fonde sur une constatation des faits ou une appréciation des preuves insoutenables (<ref-ruling> consid. 3.2 p. 400). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2 p. 591 s.).
3.1.2 Le recourant fait valoir que l'intimée a déclaré " j'ai pas réussi à me retenir puis je me suis laissée aller " (PV d'audition du 12 janvier 2011 p. 5).
Le premier juge et la cour cantonale ont expliqué que ces termes n'impliquaient pas un abandon amoureux, mais pouvaient être interprétés comme un abandon physique à la suite d'une contrainte (jugement de première instance p. 34; confirmé par le jugement attaqué p. 17). Cette interprétation n'est pas arbitraire. Le grief soulevé doit donc être rejeté.
3.1.3 Le recourant relève que l'intimée a admis qu'il avait interrompu l'acte sexuel lorsqu'elle lui a dit d'arrêter et qu'il n'y avait donc pas contrainte (jugement de première instance p. 20).
Le recourant peut avoir usé de violence pour engager le rapport sexuel mais avoir arrêté après cinq à dix minutes devant la persistance de l'opposition de la jeune fille. Il n'est donc pas arbitraire d'avoir retenu que le recourant avait usé de violence pour la contraindre à l'acte sexuel. Le grief soulevé est mal fondé.
3.1.4 Le recourant note que l'intimée a attendu les débats de première instance pour déclarer qu'elle n'aurait pas été consentante lors des événements du printemps 2010.
Dans sa déclaration du 12 janvier 2011, l'intimée a déclaré que le recourant avait engagé une relation sexuelle avec elle et qu'elle n'avait pas réussi à se retenir. Déjà dans cette déclaration, elle a manifesté qu'elle désapprouvait l'acte sexuel. Lors des débats, elle a clairement déclaré que le recourant l'avait poussée sur le lit et tenue par les bras. Donnant plus de poids aux déclarations faites lors des débats qu'à celles faites devant la police, la cour cantonale a retenu que le recourant avait usé de sa force physique (jugement attaqué p. 11). Dans la mesure où les juges ont motivé les raisons qui les ont amenés à retenir la dernière version de l'intimée (jugement de première instance p. 34, confirmé par le jugement attaqué p. 17), ils ne sont pas tombés dans l'arbitraire. Le recourant ne démontre du reste pas en quoi la motivation des juges serait insoutenable. Dans la mesure où il est recevable (<ref-law>), le grief soulevé doit être rejeté.
3.1.5 Le recourant fait valoir que l'intimée n'aurait pas parlé à son médecin psychiatre des événements du printemps 2010.
L'usage au singulier des termes " événement traumatique " et " traumatisme " dans le rapport du médecin psychiatre ne signifie pas que l'intimée ne lui a pas parlé des événements du printemps 2010. Les événements sont de même nature et l'auteur du rapport peut ainsi les regrouper (cf. jugement de première instance p. 20). Le grief est donc mal fondé.
3.1.6 En définitive, la cour cantonale n'est pas tombée dans l'arbitraire en retenant que le recourant s'était allongé sur l'intimée et lui avait tenu les mains en arrière de la tête en même temps qu'il la pénétrait.
3.2 Le recourant critique également la qualification de viol.
3.2.1 Les premiers juges ont retenu, pour les événements du printemps 2010, l'usage de violence physique, combiné avec les pressions psychiques. Pour sa part, la cour cantonale a retenu le viol sous la forme de pressions psychiques.
3.2.2 En l'espèce, le recourant s'est allongé sur la victime et lui a tenu les mains en arrière de la tête. De la sorte, il a usé sans conteste de la force physique pour abuser de sa victime. La condamnation pour viol doit donc être confirmée.
4. Dans la mesure où le recours est admis en ce qui concerne les événements du 12 mars 2009 et, partant, que l'arrêt attaqué est annulé et le dossier renvoyé à la cour cantonale pour nouveau jugement, y compris sur la peine et les conclusions civiles, les griefs sur la quotité de la peine et l'indemnité civile allouée à l'intimée deviennent sans objet.
5. Le recours doit être partiellement admis, l'arrêt attaqué est annulé et la cause renvoyée à la cour cantonale pour nouveau jugement. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
Le recourant a requis l'assistance judiciaire. Cette requête est sans objet dans la mesure où il obtient gain de cause en ce qui concerne les événements de mars 2012 et peut, à ce titre, prétendre à des dépens réduits (art. 64 al. 2 et 68 al. 1 LTF). Le recours était, pour le surplus, dénué de chances de succès, si bien que l'assistance judiciaire doit être refusée dans cette mesure (<ref-law>). Vu l'issue du litige, le recourant supporte une part des frais de la cause qui seront, en outre, fixés en tenant compte de sa situation économique (art. 65 al. 2 et 66 al. 1 LTF).
L'intimée a également requis l'assistance judiciaire. Cette requête est sans objet dans la mesure où elle obtient gain de cause. Elle est rejetée dans la mesure où ses conclusions étaient dénuées de chance de succès. L'intimée supportera donc une partie des frais de la cause qui seront, en outre, fixés en tenant compte de sa situation économique.
Les dépens sont compensés entre le recourant et l'intimée (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis partiellement, l'arrêt attaqué est annulé et la cause est renvoyée à la cour cantonale pour nouveau jugement. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire du recourant est rejetée, dans la mesure où elle n'est pas devenue sans objet.
3. La requête d'assistance judiciaire de l'intimée est rejetée, dans la mesure où elle n'est pas devenue sans objet.
4. Les frais judiciaires, arrêtés à 1'600 fr., sont mis pour 800 fr. à la charge du recourant et pour 400 fr. à la charge de l'intimée.
5. Les dépens sont compensés.
6. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 26 novembre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Kistler Vianin