Faits:
A. Le 8 avril 2011, le Tribunal du IIIème arrondissement pour le district de Monthey a reconnu X._ coupable d'actes d'ordre sexuel avec un enfant et de viol, l'a condamné à une peine privative de liberté de 36 mois, l'a mis au bénéfice du sursis partiel à concurrence de 18 mois avec un délai d'épreuve fixé à 2 ans et l'a condamné à payer une indemnité pour tort moral de 20'000 fr. à A.Y._.
B. Ce jugement a été confirmé sur appel par la Cour pénale II du Tribunal cantonal valaisan le 29 octobre 2012.
En résumé, ce tribunal a retenu la version des faits donnée par la plaignante, qui concorde avec différents témoignages et qui a été analysée par deux experts, qui ont tous les deux conclu à sa très haute crédibilité.
X._, né en 1953, s'est installé en Suisse en 1972. En 2005, il a été engagé par C.Y._ en qualité de serveur dans son établissement. X._ entretenait des relations d'amitié avec le couple Y._ ainsi que leurs enfants, B.Y._ et A.Y._, cette dernière, née en 1992, venant régulièrement manger à midi dans l'établissement.
Au début février 2008, A.Y._ a informé sa mère qu'elle allait boire un verre chez X._, qui l'avait invitée. Dès que la jeune fille est arrivée chez lui, celui-ci l'a embrassée, ce qu'il ne faisait pas d'habitude. Il a ensuite servi deux verres de Baileys et a parlé avec la jeune fille sur le canapé. Il l'a prise dans ses bras et l'a embrassée. Elle l'a repoussé mais il revenait systématiquement à la charge.
Puis X._ a proposé à la jeune fille de regarder un DVD dans sa chambre. La jeune fille a accepté et s'est placée contre la tête du lit en tenant les genoux serrés contre son corps. A un moment donné, X._ a bloqué les poignets de la jeune fille avec une main et avec l'autre lui a enlevé les manches rétractables de son pull-over puis baissé le pantalon jusqu'aux genoux. Il a mis ses jambes sur celles de A.Y._. Les bras et les jambes entravés, la jeune fille s'est débattue. X._ a saisi un préservatif et l'a installé avec une main sur son sexe en érection. Comme la jeune fille était parvenue à remonter son pantalon, il l'a redescendu et a appliqué une tape sur la joue de celle-ci. Il a introduit sa verge dans le vagin de A.Y._ puis a joui. Pendant qu'il se rendait à la salle de bains, la jeune fille s'est rhabillée et s'est enfuie, non pas par la porte d'entrée qui était fermée à clef, mais par la porte-fenêtre du salon, enjambant la balustrade du balcon et se laissant choir dans le jardin. En raison de ce saut, elle s'est blessée à la cheville, sans que cela ne nécessite des soins immédiats.
Comme elle s'était rendue compte que X._, malgré le préservatif, avait éjaculé en elle, A.Y._, après avoir pris conseil auprès d'une amie, s'est rendue au centre SIPE (Sexualité, Information, Prévention, Education) de Monthey pour obtenir une contraception d'urgence. A.Y._ s'est trouvée assez régulièrement en présence de X._ après les faits. Ce dernier lui a demandé de ne pas parler de ce qui s'était passé, raison pour laquelle elle n'a rien dit, jusqu'au moment où le nouvel ami de la jeune fille, également engagé dans le restaurant de M. Y._, l'a questionné sur le point de savoir pourquoi elle n'aimait pas X._. Sur insistance de son ami, la jeune fille a ensuite parlé à ses parents, puis l'affaire a été dénoncée.
C. X._ forme un recours en matière pénale devant le Tribunal fédéral contre l'arrêt cantonal concluant à son acquittement de la prévention de viol et à ce qu'une peine compatible avec le sursis soit prononcée, subsidiairement à ce que l'arrêt cantonal soit annulé et la cause renvoyée à l'autorité inférieure, plus subsidiairement à ce que le sursis partiel soit de 30 mois.
Considérant en droit:
1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (art. 105 al. 1 LTF). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. ATF 136 II 304 consid. 2.4, p. 313; sur la notion d'arbitraire, v. ATF 138 III 378 consid. 6.1 p. 379 s.; 137 I 1 consid. 2.4 p. 5). Ce dernier reproche se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst.; 10 CPP; art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (ATF 138 V 74 consid. 7 p. 82; 124 IV 86 consid. 2a p. 88). L'invocation de ces moyens ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (art. 106 al. 2 LTF), suppose une argumentation claire et détaillée (ATF 133 IV 286 consid. 1.4 p. 287), circonstanciée (ATF 136 II 101 consid. 3, p. 105). Les critiques de nature appellatoire sont irrecevables (ATF 137 II 353 consid. 5.1 p. 356 et les références citées).
2. Le recourant reproche à l'autorité cantonale d'avoir admis plusieurs faits, contenant de nombreuses incohérences, de manière insoutenable, alors que, si ces faits avaient été appréciés correctement, ils auraient dû conduire les juges à éprouver des doutes et à prononcer son acquittement.
2.1 Il considère tout d'abord que l'intimée ne dit pas la vérité lorsqu'elle prétend être allée chez lui pour qu'il lui montre son jardin, alors que la rencontre a eu lieu en février, période de l'année pendant laquelle les jardins sont en friche. L'arrêt attaqué passe sous silence cet élément, ce que le recourant lui reproche.
Cependant, il est clairement établi que l'intimée ne s'est pas rendue chez le recourant pour entretenir une relation sexuelle avec lui au vu de leur différence d'âge et du tempérament et caractère de la jeune fille qui est plutôt naïve, discrète, timide, inhibée et réservée (arrêt attaqué p. 19 in fine et 20).
Il était dès lors sans pertinence d'examiner plus avant les raisons invoquées par la jeune fille d'aller chez le recourant et l'arrêt attaqué n'est pas entaché d'arbitraire sur ce point.
2.2 Selon le recourant, les trois étapes (arrivée de l'intimée, puis déroulement des faits dans le salon et enfin dans la chambre à coucher) ne sont pas cohérentes. L'intimée aurait repoussé les avances du recourant tout en acceptant d'aller dans un endroit toujours plus intime. Expliquer le comportement de la jeune fille, comme le fait l'arrêt attaqué, par la candeur de celle-ci serait insoutenable.
Contrairement à ce que prétend le recourant, le fait que la jeune fille ait déjà eu des relations intimes à deux reprises avec un garçon de son âge, ce que n'ignore pas l'arrêt attaqué (p. 19 lettre d), et qu'elle ait effectué des démarches en vue d'une contraception d'urgence après les faits, ne suffisent pas à démontrer l'arbitraire d'une telle constatation. Il est en effet établi que l'intimée n'est pas venue au domicile du recourant pour entretenir des relations sexuelles avec lui, que ce dernier a près de 40 ans de plus qu'elle, que la victime est une adolescente naïve, discrète, timide et plutôt inhibée et réservée et que le recourant était un ami de la famille. Dans ces conditions, il n'est pas insoutenable d'admettre que la jeune fille n'a pas tout de suite pris conscience des intentions du recourant et que le déroulement des faits peut s'expliquer par une certaine candeur de celle-ci.
2.3 Selon le recourant, il serait impossible de bloquer les poignets de la jeune fille avec une seule main, tout en lui enlevant les manches rétractables de son pull et en lui baissant son pantalon de l'autre main.
Cependant, d'une part, il n'est pas insoutenable d'admettre qu'un homme puisse tirer les manches d'une jeune fille ou son pantalon d'une main, tout en lui tenant les poignets de l'autre et les simples allégués du recourant ne suffisent pas à établir le contraire. Partant, les déclarations de la victime sur la façon dont se sont déroulés les faits ne sont en rien insoutenables. D'autre part, il n'appartenait pas à l'arrêt attaqué d'analyser toutes les déclarations de la victime et de reproduire exactement comment le recourant avait procédé. En admettant que, notamment en raison de la force physique du recourant, de la différence d'âge et du lien d'amitié qui liait les protagonistes, le recourant a réussi à imposer sa volonté à la jeune fille, à l'immobiliser, à la déshabiller et à la pénétrer contre son gré et que les déclarations de la victime sont cohérentes, la cour cantonale n'est pas tombée dans l'arbitraire et le recourant ne démontre pas le contraire.
Cependant, d'une part, il n'est pas insoutenable d'admettre qu'un homme puisse tirer les manches d'une jeune fille ou son pantalon d'une main, tout en lui tenant les poignets de l'autre et les simples allégués du recourant ne suffisent pas à établir le contraire. Partant, les déclarations de la victime sur la façon dont se sont déroulés les faits ne sont en rien insoutenables. D'autre part, il n'appartenait pas à l'arrêt attaqué d'analyser toutes les déclarations de la victime et de reproduire exactement comment le recourant avait procédé. En admettant que, notamment en raison de la force physique du recourant, de la différence d'âge et du lien d'amitié qui liait les protagonistes, le recourant a réussi à imposer sa volonté à la jeune fille, à l'immobiliser, à la déshabiller et à la pénétrer contre son gré et que les déclarations de la victime sont cohérentes, la cour cantonale n'est pas tombée dans l'arbitraire et le recourant ne démontre pas le contraire.
2.4 Le recourant conteste encore avoir pu enfiler un préservatif avec une seule main. Il oublie cependant que lorsqu'il a saisi le préservatif, il immobilisait sa victime avec les jambes également, donc avec tout son poids. En tous les cas, il n'est pas insoutenable de tenir pour établis les faits décrits par la victime qui ne sont en aucun cas invraisemblables et d'admettre que le recourant s'est saisi du préservatif et qu'il l'a enfilé tout en immobilisant sa victime.
2.5 Le recourant conteste que la victime soit sortie par le balcon. Il soutient qu'aucun élément du dossier ne permet d'établir un lien de causalité entre la fuite du domicile et la consultation de la victime chez un médecin le 31 mars 2008, que, de plus, celle-ci a dit à son amie D._ s'être blessée au pied en raison d'une chute dans les escaliers et qu'enfin, elle n'a pas parlé de cette blessure le 1er avril 2008 à la police, le lendemain de sa visite chez le médecin.
Ce faisant, le recourant oppose sa propre appréciation à celle de l'arrêt attaqué, sans démontrer l'arbitraire de ce dernier. Il ressort de celui-ci que les fausses informations fournies aux amies de la victime par cette dernière en rapport notamment avec sa blessure au pied s'expliquaient par le fait que la jeune fille avait initialement décidé de garder ce qu'elle avait vécu pour elle (arrêt attaqué p. 18) ou que les imprécisions de la jeune fille relatives à l'issue qu'elle a empruntée dans sa fuite pouvaient s'expliquer par le stress, voire la panique, vécue par la jeune fille au moment des faits. Après s'être rendue sur place lors de l'inspection des lieux le 16 janvier 2009, la jeune fille a pu se remémorer exactement sa fuite. Dans ces conditions, il n'est pas insoutenable, de retenir la version de la victime malgré quelques imprécisions de cette dernière et les simples allégués du recourant ne suffisent pas à démontrer l'arbitraire.
2.6 Le recourant soutient encore qu'une appréciation correcte des faits aurait dû conduire l'autorité cantonale à éprouver des doutes sur sa culpabilité et à l'acquitter. Ce faisant, le recourant ne formule aucune critique recevable fondée sur les faits retenus, sans arbitraire, par la cour cantonale. Sur la base de ceux-ci, la cour cantonale pouvait, sans violation du droit fédéral, retenir que l'infraction de viol était réalisée.
3. 3.1 Lorsqu'il dispose d'une expertise, le juge en apprécie librement la force probante, à l'instar des autres moyens de preuve. Cette liberté trouve sa limite dans l'interdiction de l'arbitraire. Si le juge n'est en principe pas lié par les conclusions de l'expert, il ne peut toutefois s'en écarter, sur des questions dont la réponse demande des connaissances particulières, qu'en exposant les motifs sérieux qui l'amènent à agir de la sorte. En se fondant sur une expertise non concluante, le juge pourrait violer l'art. 9 Cst. Tel serait le cas si des motifs suffisants ou de sérieux indices lui faisaient douter de l'exactitude d'une expertise (ATF 129 I 49 consid. 4 p. 57s.).
3.2 L'arrêt attaqué retient que le rapport d'expertise de Mme E._ comporte des réflexions et des conclusions claires, univoques. L'experte s'est efforcée, au moyen de critères objectifs, de rechercher quelle crédibilité pouvait être accordée aux révélations de la jeune fille. Elle n'a relevé que peu de contradictions, portant sur des points tout à fait mineurs, dans le récit de l'adolescente. L'expertise répond aux standards professionnels reconnus par la doctrine et la jurisprudence et rien ne permet de s'écarter des conclusions pertinentes de cette expertise, confirmées par les conclusions de l'expert F._ et par les autres actes du dossier (arrêt attaqué p. 21).
3.3 Le recourant soutient tout d'abord que l'experte E._ n'a pas adapté les critères d'analyse à l'âge de l'enfant et a pris les mêmes critères que pour un enfant en bas âge.
Il ressort cependant de l'analyse de l'expertise figurant dans l'arrêt attaqué que l'experte E._ a fait référence à de nombreuses reprises au fait que la victime est une adolescente (arrêt attaqué p. 15 et ss). Dans les éléments anamnestiques succincts figurant dans le rapport d'expertise, l'experte parle d'ailleurs clairement du fait que la victime avait déjà eu des relations intimes avant les faits (dossier p. 216) et de la différence de suggestibilité entre une adolescente et une enfant (dossier p. 232). Le grief du recourant n'est pas fondé.
3.4 La psychologue E._ a analysé les déclarations de l'intimée au moyen de 19 critères en application de la méthode dite de l' « Analyse de la validité de la déclaration ». Selon elle, le récit de la victime est cohérent, spontané et riche en détails (arrêt attaqué p. 16). L'enchâssement contextuel, les nombreuses descriptions d'interactions, le riche rappel de conversations permettent de bien comprendre le scénario d'abus sexuel.
Le recourant prétend que l'experte présente dans son complément d'expertise trois preuves de cohérence en s'appuyant sur des éléments qui suscitent le doute. Il se réfère en réalité aux éléments déjà examinés ci-dessus aux consid. 2.2. à 2.5, dont l'incohérence et l'arbitraire ont été niés. Son grief ne peut qu'être rejeté. Au demeurant, l'experte a relevé que les détails indépendants décrivaient la suite des événements sans contradiction majeure (dossier p. 257 et 258). Il suffit de se référer à son rapport pour comprendre son raisonnement. De plus, dans son expertise et son complément, l'experte reprend précisément les allégations de la victime en exposant en quoi il n'y a aucune contradiction majeure (dossier p. 212 ss et 257 ss) et que s'il subsiste une interrogation troublante concernant la façon dont la victime est sortie de la maison, cette interrogation ne diminue pas pour autant la cohérence du récit dans la mesure où la jeune fille a retrouvé ses souvenirs lors de la reconstitution. A nouveau, le recourant y oppose qu'il y a d'autres éléments troublants, faisant référence à ceux examinés aux consid. 2.2 à 2.5 pour remettre en cause l'expertise, ce qui est infondé. Au demeurant, l'experte a examiné les déclarations de la victime de manière approfondie et l'autorité cantonale pouvait s'y référer sans tomber dans l'arbitraire.
4. 4.1 Une peine privative de liberté de 1 an au moins et de 3 ans au plus peut être assortie d'un sursis partiel afin de tenir compte de façon appropriée de la faute de l'auteur (cf. art. 43 al. 1 CP). La partie à exécuter ne peut excéder la moitié de la peine (al. 2). En cas de sursis partiel à l'exécution d'une peine privative de liberté, la partie suspendue, de même que la partie à exécuter, doivent être de six mois au moins. Pour l'octroi du sursis partiel, la faute de l'auteur est donc déterminante lorsque la durée de la peine infligée se situe entre 2 et 3 ans (cf. ATF 134 IV 53 consid. 4.3.3 non publié, 1 consid. 5.3.3 p. 11; cf. également arrêts 6B_583/2008 consid. 2.2.2 et 6B_497/2008 consid. 2.2.2). Pour fixer la durée de la partie ferme et avec sursis de la peine, le juge dispose d'un large pouvoir d'appréciation. Le rapport entre ces deux parties de la peine doit être fixé de telle manière que, d'une part, la probabilité d'un comportement futur de l'auteur conforme à la loi, mais aussi sa culpabilité soient équitablement prises en compte. Ainsi, plus le pronostic est favorable et moins l'acte apparaît blâmable, plus la partie de la peine assortie du sursis doit être importante. Mais en même temps, la partie ferme de la peine doit demeurer proportionnée aux divers aspects de la faute (ATF 134 IV 1 consid. 5.6 p. 15).
4.2 Au cas particulier, vu la faute du recourant et le mépris qu'il a eu de l'intégrité sexuelle de sa victime, le sursis partiel accordé a été limité à la durée minimale de 18 mois. Contrairement à ce qu'il prétend, il a été retenu (arrêt attaqué p. 28) que le recourant n'a pas véritablement pris conscience de la gravité de ses actes et qu'il ne s'est pas remis en question, faits dont le recourant ne saurait s'écarter à moins d'en avoir démontré l'arbitraire, ce qui n'est pas le cas.
Au vu du comportement du recourant, du fait qu'il s'en est pris à la liberté sexuelle d'une jeune adolescente, pour assouvir ses pulsions sexuelles et qu'il a profité de la confiance que lui accordait cette jeune fille, étant donné qu'elle était la fille de son employeur et ami, qu'il a agi sans scrupules et profité de la candeur de cette adolescente, ce qui permet de qualifier sa faute de lourde, la décision de l'autorité cantonale ne procède pas d'un abus de son large pouvoir d'appréciation, même en l'absence de risque de récidive. Le grief du recourant ne peut dès lors qu'être rejeté.
5. En conclusion, le recours doit être rejeté dans la mesure de sa recevabilité. Les frais judiciaires doivent être mis à la charge du recourant (art. 66 al. 1 LTF). L'intimée, qui n'a pas été amenée à se déterminer, n'a pas droit à des dépens (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Cour pénale II.
Lausanne, le 21 février 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet