Faits: A. Le 8 avril 2011, le Tribunal du IIIème arrondissement pour le district de Monthey a reconnu X._ coupable d'actes d'ordre sexuel avec un enfant et de viol, l'a condamné à une peine privative de liberté de 36 mois, l'a mis au bénéfice du sursis partiel à concurrence de 18 mois avec un délai d'épreuve fixé à 2 ans et l'a condamné à payer une indemnité pour tort moral de 20'000 fr. à A.Y._. B. Ce jugement a été confirmé sur appel par la Cour pénale II du Tribunal cantonal valaisan le 29 octobre 2012. En résumé, ce tribunal a retenu la version des faits donnée par la plaignante, qui concorde avec différents témoignages et qui a été analysée par deux experts, qui ont tous les deux conclu à sa très haute crédibilité. X._, né en 1953, s'est installé en Suisse en 1972. En 2005, il a été engagé par C.Y._ en qualité de serveur dans son établissement. X._ entretenait des relations d'amitié avec le couple Y._ ainsi que leurs enfants, B.Y._ et A.Y._, cette dernière, née en 1992, venant régulièrement manger à midi dans l'établissement. Au début février 2008, A.Y._ a informé sa mère qu'elle allait boire un verre chez X._, qui l'avait invitée. Dès que la jeune fille est arrivée chez lui, celui-ci l'a embrassée, ce qu'il ne faisait pas d'habitude. Il a ensuite servi deux verres de Baileys et a parlé avec la jeune fille sur le canapé. Il l'a prise dans ses bras et l'a embrassée. Elle l'a repoussé mais il revenait systématiquement à la charge. Puis X._ a proposé à la jeune fille de regarder un DVD dans sa chambre. La jeune fille a accepté et s'est placée contre la tête du lit en tenant les genoux serrés contre son corps. A un moment donné, X._ a bloqué les poignets de la jeune fille avec une main et avec l'autre lui a enlevé les manches rétractables de son pull-over puis baissé le pantalon jusqu'aux genoux. Il a mis ses jambes sur celles de A.Y._. Les bras et les jambes entravés, la jeune fille s'est débattue. X._ a saisi un préservatif et l'a installé avec une main sur son sexe en érection. Comme la jeune fille était parvenue à remonter son pantalon, il l'a redescendu et a appliqué une tape sur la joue de celle-ci. Il a introduit sa verge dans le vagin de A.Y._ puis a joui. Pendant qu'il se rendait à la salle de bains, la jeune fille s'est rhabillée et s'est enfuie, non pas par la porte d'entrée qui était fermée à clef, mais par la porte-fenêtre du salon, enjambant la balustrade du balcon et se laissant choir dans le jardin. En raison de ce saut, elle s'est blessée à la cheville, sans que cela ne nécessite des soins immédiats. Comme elle s'était rendue compte que X._, malgré le préservatif, avait éjaculé en elle, A.Y._, après avoir pris conseil auprès d'une amie, s'est rendue au centre SIPE (Sexualité, Information, Prévention, Education) de Monthey pour obtenir une contraception d'urgence. A.Y._ s'est trouvée assez régulièrement en présence de X._ après les faits. Ce dernier lui a demandé de ne pas parler de ce qui s'était passé, raison pour laquelle elle n'a rien dit, jusqu'au moment où le nouvel ami de la jeune fille, également engagé dans le restaurant de M. Y._, l'a questionné sur le point de savoir pourquoi elle n'aimait pas X._. Sur insistance de son ami, la jeune fille a ensuite parlé à ses parents, puis l'affaire a été dénoncée. C. X._ forme un recours en matière pénale devant le Tribunal fédéral contre l'arrêt cantonal concluant à son acquittement de la prévention de viol et à ce qu'une peine compatible avec le sursis soit prononcée, subsidiairement à ce que l'arrêt cantonal soit annulé et la cause renvoyée à l'autorité inférieure, plus subsidiairement à ce que le sursis partiel soit de 30 mois.