Faits:
A. Par jugement du 5 octobre 2009, le Tribunal du IIème arrondissement pour le district de Sion a reconnu X._ coupable de viol et il l'a condamné à une peine privative de liberté de vingt-six mois, avec sursis partiel à concurrence de treize mois et délai d'épreuve de deux ans. Il l'a également condamné à verser à Y._ les montants de 15'000 francs à titre d'indemnité pour tort moral et de 1'691 francs à titre de dommages-intérêts, avec intérêts à 5% dès le 10 septembre 2005.
B. Le Tribunal cantonal du Valais a partiellement admis le recours dont l'avait saisi X._ par jugement du 15 mars 2011, le condamnant à une peine privative de liberté de vingt-quatre mois, avec sursis et délai d'épreuve de 2 ans. Le précité a par ailleurs été condamné à verser à Y._ les sommes de 8'000 francs à titre d'indemnité pour tort moral et de 1'691 francs à titre de dommages-intérêts, avec intérêts à 5% dès le 16 juin 2009. Cette condamnation se fonde, en bref, sur les éléments suivants.
B.a X._ est né le 25 septembre 1979. A l'époque des faits, il était domicilié à Sion et il était marié avec une femme qui n'habitait pas en Valais. Il a rencontré Y._, née le 9 août 1989, au cours d'une soirée à la fin de l'été 2005. Après avoir fréquenté plusieurs établissements publics, il a invité la jeune fille à son domicile. Là, ils se sont dévêtus, se sont massés et ont accomplis des actes d'ordre sexuel, sans pénétration, la jeune fille étant indisposée.
B.b Le 10 septembre 2005, vers 19 heures, X._ a téléphoné à Y._ pour lui proposer d'aller boire un verre avec lui, et ils se sont retrouvés peu après au centre de Sion. Comme il n'avait pas amené la bague que la jeune fille avait précédemment oubliée chez lui, il lui a proposé de l'accompagner à son domicile. Une fois au salon, X._ a voulu l'embrasser, ce qu'elle a refusé. Celui-ci s'est ensuite levé et s'est rendu dans la chambre à coucher, d'où il a appelé Y._ pour lui montrer un nouvel éclairage. Celle-ci l'y a rejoint à sa seconde sollicitation. Il a voulu qu'elle se couche, ce qu'elle a refusé. Il l'a alors attrapée et elle s'est retrouvée sur le lit. Elle lui a dit qu'elle ne voulait pas être déshabillée, ce à quoi il a répondu "de toute façon, je m'en fous, ce soir je veux te violer". Elle a tenu son pantalon lorsqu'il a voulu le lui enlever, ce qu'il a néanmoins réussi à faire, manquant presque de le déchirer. Après lui avoir ôté son slip, il a frotté son pénis contre elle, il a amené son sexe près de sa bouche afin qu'elle lui prodigue une fellation et il l'a pénétrée. Après ces faits, Y._ n'a pas immédiatement quitté les lieux et elle s'est fait conduire par X._ en ville, où elle a rejoint, vers 21 heures, des connaissances avec lesquelles elle a passé la soirée jusqu'à une heure avancée de la nuit. Elle a alors expliqué à une amie qu'elle avait dû subir une relation sexuelle non consentie.
B.c Dès son entrée dans l'adolescence, Y._ a souffert d'une grande fragilité psychique. A la suite de la séparation de ses parents, à l'âge de douze ans, elle a subi des abus répétés de la part de son père. Ses relations avec sa mère ont été émaillées de disputes fréquentes. Elle avait déjà entretenu plusieurs rapports sexuels avant sa relation avec X._.
Selon le rapport du 25 avril 2008 du Centre pour le développement et la thérapie de l'enfant et de l'adolescent (CDTEA), Y._ semblait très "paumée" sur le plan sentimental et sexuel, ignorant les règles de communication en la matière. Le fait d'avoir été utilisée comme objet sexuel dès la préadolescence, puis manipulée dans le décodage et l'apprentissage des règles et tabous, avait probablement perturbé son vécu sexuel de jeune adulte. D'après les récits et descriptions de la jeune fille, il semblait que celle-ci, soit ne savait pas décoder, dans le discours ou les actes de son partenaire, les signes de danger ou d'insécurité potentiels (comme les man?uvres pour la faire venir du bistrot vers l'appartement, puis du salon vers la chambre, etc), soit se croyait capable de faire valoir ses propres envies lorsque celles de son partenaire étaient exprimées sans ambiguïté (comme la phrase: "ce soir je vais te violer"). L'absence de repères l'immobilisait dans une attitude plutôt passive. Lorsqu'elle ne percevait pas clairement le danger, elle ne pouvait pas fixer des limites personnelles à son partenaire, ni clairement exprimer un non, ni faire respecter ce non. Si le risque d'agression était plus explicite, l'illusion de pouvoir y échapper amenait l'intéressée à laisser l'autre commencer et ses dénégations peu claires pouvaient alors être interprétées comme faisant partie du jeu préliminaire.
C. X._ interjette un recours en matière pénale au Tribunal fédéral contre le jugement du 15 mars 2011. Il conclut à l'admission du recours, à l'annulation de la décision attaquée et à son acquittement. Il a par ailleurs requis l'effet suspensif relatif à sa condamnation à payer à Y._ diverses sommes d'argent. Celui-ci lui a été accordé par mesures superprovisoires le 21 avril 2011, auxquelles les autres parties ne se sont pas déterminées dans le délai qui leur a été imparti.

Considérant en droit:
1. Le recourant soutient qu'il ne s'est pas rendu coupable de viol. Il critique les faits retenus et conteste la réalisation des conditions de l'infraction à l'<ref-law>.
2. Invoquant en premier lieu l'arbitraire dans l'appréciation des preuves et l'établissement des faits (art. 9 Cst.) ainsi que le principe in dubio pro reo (art. 9 et 32 Cst.; art. 6 CEDH), le recourant conteste la crédibilité des explications de l'intimée et fait valoir que les déclarations de divers témoins auraient dû amener la cour cantonale à préférer sa propre version. Il ne soutient pas (<ref-law>) qu'un doute subsisterait après l'examen des preuves. Il tente de démontrer que les autorités cantonales auraient dû en éprouver un en les appréciant sans arbitraire (sur cette notion, v. <ref-ruling> consid. 2.4 p. 5). Les deux griefs soulevés se confondent (<ref-ruling> consid. 2a p. 88).
2.1 Dans le recours en matière pénale, les faits constatés par l'autorité précédente lient le Tribunal fédéral (<ref-law>), à moins qu'ils n'aient été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit essentiellement de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 4.1.2 p. 62), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si un tel moyen est invoqué et motivé par le recourant (<ref-law>). Le recourant qui se plaint d'arbitraire doit démontrer, par une argumentation claire et détaillée, que cette décision se fonde sur une constatation des faits ou une appréciation des preuves insoutenables (<ref-ruling> consid. 3.2 p. 400). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2 p. 591 s.).
2.1 Dans le recours en matière pénale, les faits constatés par l'autorité précédente lient le Tribunal fédéral (<ref-law>), à moins qu'ils n'aient été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit essentiellement de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 4.1.2 p. 62), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si un tel moyen est invoqué et motivé par le recourant (<ref-law>). Le recourant qui se plaint d'arbitraire doit démontrer, par une argumentation claire et détaillée, que cette décision se fonde sur une constatation des faits ou une appréciation des preuves insoutenables (<ref-ruling> consid. 3.2 p. 400). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2 p. 591 s.).
2.2 2.2.1 La cour cantonale, confrontée à deux versions contradictoires, a d'abord relevé que le recourant avait une propension à mentir et qu'il avait divergé dans ses explications, par exemple sur la manière dont il avait enlevé le pantalon de l'intimée ou sur la manière dont celle-ci avait manifesté son opposition. Pour sa part, l'intimée avait été constante sur les points principaux, relatant les événements avec précision et sans exagération. Les faits qu'elle avait rapportés à ses premières confidentes corroboraient ceux qu'elle avait dénoncés. Elle avait décrit spontanément et sans artifice son attitude et son opposition aux actes du recourant. La cour cantonale a par ailleurs dénié une valeur probante suffisante aux déclarations des témoins A._ et B._, selon lesquelles l'intimée leur aurait affirmé qu'elle avait accusé le recourant par vengeance et que celui-ci ne l'avait pas violée. En effet, A._ était très proche du recourant, elle était en mauvais termes avec l'intimée au moment de sa déclaration et elle avait déposé une plainte pénale contre elle pour injure et menaces. Ces déclarations n'avaient en outre pas été confirmées par C._, qui était pourtant également présente au moment où l'intimée avait prétendument tenu les propos précités. Enfin, le témoignage de D._, selon lequel l'intimée avait tendance à inventer des histoires et avait indiqué qu'elle voulait nuire à "quelqu'un", devait être écarté au motif qu'il faisait référence à des ouï-dires ou à des appréciations personnelles sur des faits dont il avait eu directement ou indirectement connaissance et il ne confirmait pas que l'intimée aurait menti sur les accusations portées contre le recourant. Au vu de ces éléments, la version de l'intimée devait être retenue.
2.2.2 Le recourant reproche à l'autorité cantonale d'avoir tenu compte, dans le cadre de son appréciation des preuves, du fait qu'il avait menti à propos de l'obtention d'une autorisation de séjour en Suisse (cf. recours p. 14). Celle-ci a toutefois également retenu qu'il avait varié dans ses explications sur des faits importants de la cause, ce qu'il ne conteste pas. Or, de telles divergences permettaient, sans arbitraire, de mettre en doute la véracité de sa version des faits.
2.2.3 Le recourant conteste également que les déclarations de l'intimée pouvaient être retenues. Il fait valoir qu'elles devaient être toutes examinées les unes après les autres, de manière individuelle. Il n'explique cependant pas en quoi un tel examen permettrait de démontrer l'arbitraire de la décision attaquée. Il est rappelé, en tout état, que les déclarations de la victime, entendue comme témoin, constituent un élément de preuve. Dans le cadre du principe de libre appréciation de ces dernières, rien ne s'oppose à ne retenir qu'une partie des déclarations d'un témoin globalement crédible (<ref-ruling> consid. 3, spéc. p. 39; arrêt 6B_685/2010 du 4 avril 2011 consid. 2.2.1 et les réf. citées). Ainsi, dans la mesure où la description des événements par l'intimée ne présente pas d'incohérence ou de contradiction sur les éléments essentiels concernant la manière dont les faits se sont déroulés, même s'il fallait admettre que certaines de ses déclarations, prises individuellement, apparaissent moins crédibles sur des points particuliers, cela ne serait pas encore suffisant pour remettre en cause l'intégralité de ses dires.
Le recourant fait valoir ensuite que l'intimée a "modifié" ses déclarations après avoir été conseillée par un mandataire professionnel puisqu'elle a insisté davantage sur ses prétendues dénégations. Le fait qu'elle appuie plus sur certains points ne signifie pas encore qu'elle a changé sa version des faits et ne démontre en tout cas pas que celle-ci serait fausse.
Le recourant invoque également qu'il ressort du rapport du CDTEA du 25 avril 2008 que l'intimée était grandement affectée par les abus sexuels que lui avait fait subir son père, alors que tel n'était pas du tout le cas en ce qui concerne les faits qu'elle a dénoncés, ce dont il y avait lieu de tenir compte dans l'appréciation de ses déclarations. Une telle constatation ne permet cependant pas encore de considérer que les événements qu'elle a rapportés ne se sont pas produits dans la mesure où il paraît admissible qu'elle soit davantage affectée par des actes commis à plusieurs reprises par son père plutôt qu'à une reprise par un homme qu'elle connaissait à peine. Le recourant invoque également qu'il ressort du rapport précité que l'intimée avait une carence de l'estime de soi et cherchait à attirer la sympathie ou la pitié du fait de ses difficultés. Un tel élément n'est toutefois pas apte à démontrer l'arbitraire de la décision attaquée dans la mesure où il n'est pas établi que l'intimée aurait retiré un quelconque bénéfice de ses accusations et qu'elle avait donc un intérêt à mentir.
Enfin, si l'intimée ne s'est pas enfuie après les faits et a passé la soirée avec des connaissances, il est également constaté qu'elle a déclaré le soir même à une amie avoir été contrainte à subir une relation sexuelle non consentie, de sorte que le recourant ne peut tirer aucun argument de son comportement postérieur aux faits pour démontrer l'arbitraire de la décision cantonale.
2.2.4 Le recourant critique la décision cantonale en tant qu'elle a écarté certains témoignages. Il invoque, en relation avec les déclarations de A._, que sa proximité avec celle-ci ne suffit pas pour écarter ses déclarations, encore fallait-il qu'elles soient objectivement tronquées ou influencées. Il n'était cependant pas manifestement insoutenable de relativiser la valeur probante de ce témoignage pour le motif invoqué. La cour cantonale a, au surplus, tenu compte des mauvaises relations entre le témoin et l'intimée, ce qui constitue un élément supplémentaire pour ne pas retenir ses déclarations. L'autorité précédente retient par ailleurs expressément que C._ n'a pas confirmé les propos de A._ et B._ (cf. jugement entrepris p. 14) et le recourant, qui affirme le contraire, ne tente pas de démontrer l'arbitraire des constatations cantonales sur ce point. Enfin, le recourant admet lui-même qu'il était "compréhensible" que l'autorité cantonale éprouve des doutes quant aux témoignages de A._ et B._ (cf. recours p. 10), admettant ainsi implicitement que la décision qui les écarte n'est pas insoutenable.
Le recourant conteste également que les déclarations de D._ n'aient pas été prises en compte dans le cadre de l'appréciation des preuves. Celles-ci sont cependant très générales et ne peuvent pas être rattachées de manière suffisamment précise aux faits qui sont l'objet de la présente procédure. Le recourant invoque également la déclaration de E._, selon laquelle l'intimée aurait déclaré que D._ l'aurait violée, ce qui démontrerait la propension de cette dernière à mentir. Les dires de la précitée ne sont cependant confirmés par aucun témoin et ne peuvent être considérés comme suffisamment établis. Ainsi, le recourant ne peut tirer argument de ces deux déclarations pour affirmer que l'intimée aurait l'habitude de tenir des propos contraires à la vérité et que la décision cantonale serait arbitraire dans son résultat. Au demeurant, quand bien même il serait déjà arrivé à l'intimée, par le passé, de raconter des faits contraires à la vérité, cela ne permettrait pas encore d'en conclure qu'il était inadmissible de considérer ses dires, dans le cas d'espèce, comme crédibles.
2.2.5 Au vu de ce qui précède, force est de constater que la cour cantonale était fondée, sans arbitraire, à accorder crédit à la version de l'intimée, plutôt qu'à celle du recourant. Le grief d'arbitraire dans l'appréciation des preuves et l'établissement des preuves doit donc être rejeté.
2.3 Le recourant invoque encore que la cour cantonale n'a pas retenu plusieurs faits. Dans la mesure où ils auraient dû, selon lui, l'amener à nier la réalisation des conditions de l'infraction de viol, ce grief sera examiné infra (cf. consid. 3), dans la mesure utile.
3. Le recourant invoque une violation de l'<ref-law>, contestant la réalisation des éléments objectifs et subjectifs de l'infraction.
Cette disposition réprime le comportement de celui qui, notamment en usant de menace ou de violence, en exerçant sur sa victime des pressions d'ordre psychique ou en la mettant hors d'état de résister, aura contraint une personne de sexe féminin à subir l'acte sexuel. Les infractions réprimant la contrainte sexuelle interdisent toute atteinte à la liberté sexuelle.
Cette disposition réprime le comportement de celui qui, notamment en usant de menace ou de violence, en exerçant sur sa victime des pressions d'ordre psychique ou en la mettant hors d'état de résister, aura contraint une personne de sexe féminin à subir l'acte sexuel. Les infractions réprimant la contrainte sexuelle interdisent toute atteinte à la liberté sexuelle.
3.1 3.1.1 Le viol est un délit de violence, qui suppose en règle générale une agression physique. L'auteur fait usage de violence lorsqu'il emploie volontairement la force physique sur la personne de la victime afin de la faire céder (<ref-ruling> consid. 2b p. 100; arrêt 6B_267/2007 du 3 décembre 2007 consid. 6.3; 6S.688/1997 du 17 décembre 1997 consid. 2b, cité in: Hans Wiprächtiger, Aktuelle Praxis des Bundesgerichtes zum Sexualstrafrecht, RPS 1999 p. 121 ss p. 133). En introduisant la notion de "pressions psychiques", le législateur a cependant aussi voulu viser les cas où la victime se trouve dans une situation sans espoir, sans pour autant que l'auteur ait recouru à la force physique ou à la violence (<ref-ruling> consid. 3a/bb p. 110-111; <ref-ruling> consid. 2b p. 100 et les références citées). Ainsi, l'infériorité cognitive et la dépendance émotionnelle et sociale peuvent - en particulier chez les enfants et les adolescents - induire une pression psychique extraordinaire et, partant, une soumission comparable à la contrainte physique, les rendant incapables de s'opposer à des atteintes sexuelles. La jurisprudence parle de "violence structurelle", pour désigner cette forme de contrainte d'ordre psychique commise par l'instrumentalisation de liens sociaux. Pour que l'infraction soit réalisée, il faut cependant que la situation soit telle qu'on ne saurait attendre de l'enfant ou de l'adolescent victime qu'il oppose une résistance. Sa soumission doit, en d'autres termes, être compréhensible. L'exploitation de rapports généraux de dépendance ou d'amitié ou même la subordination comme celle de l'enfant à l'adulte ne suffisent en règle générale pas pour admettre une pression psychologique au sens des art. 189 al. 1 ou 190 al. 1 CP (<ref-ruling> consid. 2.2 p. 109).
Pour déterminer si l'on se trouve en présence d'une contrainte sexuelle, il faut procéder à une appréciation globale des circonstances concrètes déterminantes. Une appréciation individualisée est nécessaire, laquelle doit reposer sur des éléments suffisamment typiques (<ref-ruling> consid. 2b p. 99, 106 consid. 3a/bb p. 111; <ref-ruling> consid. 3b p. 159). La mesure de l'influence qui doit avoir été exercée sur la victime pour qu'il y ait pression d'ordre psychique n'est pas aisément déterminable, de sorte qu'il y a lieu de se montrer prudent dans l'application des dispositions réprimant la contrainte sexuelle (<ref-ruling> consid. 2b p. 99, 106 consid. 3b/aa p. 111).
3.1.2 La cour cantonale a considéré que le recourant avait usé de violence puisqu'il résultait du déroulement des événements qu'il avait fourni sensiblement plus d'efforts qu'il n'aurait eu à le faire lors d'un rapport intime librement consenti. En outre, l'intimée avait été contrainte dans la mesure où, compte tenu de ses difficultés psychologiques, elle avait laissé le recourant poursuivre ses actes, malgré son opposition manifestée clairement à plusieurs reprises, jusqu'à ce qu'elle se trouve dans une situation telle qu'elle se sentait prise au piège et n'était plus en mesure de résister.
Le recourant conteste pour sa part s'être montré violent, ce qui ressortait des déclarations de l'intimée. Il réfute également toute contrainte psychique dans la mesure où la jeune fille avait un passé sexuel plus important que toute autre fille de son âge. Il ne pouvait donc lui être reproché d'avoir profité de son jeune âge. Au surplus, le rapport du CDTEA du 25 avril 2008 relevait notamment qu'elle était vulnérable psychologiquement et ne pouvait pas fixer de limites à son partenaire en raison de son passé douloureux.
3.1.3 Le recourant n'a pas insulté, frappé, maltraité ou terrorisé l'intimée. Il n'est en particulier pas constaté qu'il l'a violemment projetée sur le lit. Il n'a donc, de ce point de vue, pas fait preuve de violence au sens de l'<ref-law>.
Il a cependant failli déchirer le pantalon de la jeune fille en le retirant. Il fait valoir à ce propos que la fermeture du vêtement se trouvait à l'arrière et qu'il n'était dès lors pas aisé de l'enlever puisque l'intimée était couchée sur le dos. Ses difficultés ne provenaient donc pas de l'opposition de cette dernière. Il s'écarte toutefois ainsi de l'état de fait cantonal qui lie le Tribunal fédéral (<ref-law>), dont il ressort qu'elle tenait son pantalon pour le maintenir en place. Au surplus, on ne voit pas en quoi l'opération requérait plus d'efforts selon que la fermeture se trouvait à l'avant ou à l'arrière si l'intimée consentait à ce que son pantalon soit enlevé, hypothèse dans laquelle elle l'aurait alors même aidé à l'ôter. Cela étant, il n'est pas nécessaire de trancher si le recourant a, par ce simple geste, fait preuve de violence au sens de l'<ref-law>. Il convient bien plus de relever ce qui suit.
L'intimée avait tout juste seize ans au moment des faits. Si elle avait déjà entretenu des relations sexuelles par le passé, il ne peut nullement être considéré, sur la base de l'état de fait cantonal que le recourant ne conteste pas sur ce point, qu'elle était expérimentée en la matière. Tel était en revanche le cas du recourant, qui était âgé de près d'une dizaine d'année de plus, ce qui constitue un écart significatif, et était marié.
L'intimée a d'abord manifesté son refus de se laisser embrasser, puis de se coucher sur le lit et enfin de se laisser déshabiller et le recourant admet lui-même qu'elle avait exprimé une opposition à ses actes à deux reprises au moins, notamment lorsqu'il avait voulu lui enlever son pantalon. Si le rapport du CDTEA indique qu'elle avait de la peine à exprimer son refus à son partenaire et à lui fixer des limites, tel n'a pas été le cas en l'espèce. La jeune fille a toutefois protesté sans succès puisque le recourant n'a pas pour autant cessé ses agissements. De plus, s'il fallait admettre que le fait que le recourant enlève brutalement le pantalon que l'intimée tentait de tenir ne constitue pas à proprement parler un acte de violence au sens de l'<ref-law>, il a néanmoins contribué à montrer à celle-ci que ses efforts pour essayer d'empêcher le précité de poursuivre ses actes étaient vains et qu'elle n'avait d'autre solution que celle de céder. Il en va de même de la déclaration du recourant selon laquelle, même si elle résistait, il allait de toute façon la violer, laquelle était également de nature à la décourager de s'opposer à l'opiniâtreté du recourant. L'intimée a ainsi expliqué que lorsque le recourant s'était approché pour qu'elle lui prodigue une fellation, comme il ne tenait pas compte de son opposition, elle n'avait plus le choix, que le recourant n'écoutait pas ce qu'elle lui disait et qu'elle voulait en finir au plus vite. Elle a encore ajouté qu'elle n'avait pas osé se défendre, ayant à l'esprit les abus sexuels dont elle avait été victime durant son enfance.
Tous ces éléments démontrent à satisfaction de droit que l'intimée, malgré ses protestations, qui ne pouvaient être interprétées comme un simple jeu, n'était pas arrivée à se faire entendre du recourant et qu'elle avait subi une pression psychique face à la détermination de ce dernier qui l'empêchait d'opposer davantage de résistance que celle qu'elle avait montrée. Sa soumission, afin d'en finir, puisqu'elle n'avait d'autre moyen, est ainsi compréhensible. Le fait qu'elle ait déclaré, qu'après qu'elle avait fait une fellation au recourant, "c'était comme une relation normale" permet donc tout au plus de retenir, contrairement à ce que le recourant soutient, que les gestes accomplis n'avaient rien de particulier, mais non pas qu'elle y consentait. Enfin, ces éléments indiquent que c'est bien sous l'effet de la contrainte, n'ayant pas d'autre choix, et non de son plein gré, que l'intimée a subi l'acte sexuel et qu'il y a un lien de causalité entre la contrainte et celui-ci.
Les éléments objectifs de l'infraction sont donc donnés.
3.2 Le recourant conteste la réalisation de l'élément subjectif de l'infraction. Se référant à nouveau au rapport du CDTEA du 25 avril 2008, il soutient que l'opposition de l'intimée n'était pas suffisamment explicite pour qu'il puisse se rendre compte qu'elle n'était pas consentante. Il n'avait jamais eu la conscience et la volonté de la violer et n'avait jamais ressenti qu'il exerçait une contrainte. Dès qu'elle avait émis une réticence, une discussion s'était engagée sur "'l'opportunité" d'avoir une relation sexuelle et elle l'avait ensuite toujours laissé poursuivre.
3.2.1 Du point de vue subjectif, l'infraction est intentionnelle, mais le dol éventuel suffit. L'intention doit porter sur tous les éléments constitutifs de l'infraction. L'homme doit savoir ou accepter que la femme n'est pas consentante, qu'il exerce ou emploie un moyen de contrainte sur elle et qu'elle se soumet à l'acte sexuel sous l'effet de la contrainte (<ref-ruling> consid. 3 p. 70-71; arrêt 6B_278/2011 du 16 juin 2011 consid. 3.2.4; Bernard Corboz, Les infractions en droit suisse, vol. I, 3ème éd., 2010, n. 11 ad <ref-law>).
Déterminer ce qu'une personne a su, envisagé, voulu ou accepté relève des constatations de faits, qui lient la cour de céans, à moins qu'elles n'aient été établies de façon manifestement inexacte. Est en revanche une question de droit, celle de savoir si l'autorité cantonale s'est fondée sur une juste conception du dol éventuel et si elle l'a correctement appliquée sur la base des faits retenus et des éléments à prendre en considération (<ref-ruling> consid. 4.1 p. 4).
3.2.2 L'autorité précédente a retenu que le recourant savait que la jeune fille ne souhaitait pas entretenir de relation intime et qu'il avait conscience d'exercer une contrainte sexuelle. En effet, l'intimée avait esquivé ses premiers baisers en tournant la tête et en lui expliquant les raisons de son refus, à savoir qu'elle devait connaître et aimer la personne. Une fois dans la chambre, il l'avait poussée sur le lit malgré l'opposition qu'elle avait manifestée et elle avait été claire en lui disant qu'elle ne voulait pas être déshabillée, mais il lui avait quand même enlevé son bustier, puis son pantalon qu'elle retenait pour éviter qu'il parvienne à ses fins. Enfin, après avoir cédé sous la contrainte, elle ne s'était jamais montrée active durant l'acte. Dans ces circonstances, rien ne permettait objectivement au recourant de penser qu'elle consentait à entretenir un rapport sexuel. Il ne pouvait davantage se méprendre sur les intentions véritables et le sérieux de la résolution de la jeune fille. En effet, son opposition - qui ne pouvait être qualifiée de faux-semblant - devait exclure tout doute dans l'esprit du recourant et il avait d'ailleurs déclaré, en réponse au refus de l'intimée, qu'il allait de toute façon la violer (cf. jugement entrepris consid. 3/d/bb p. 18-19).
En retenant que le recourant savait que la jeune fille ne souhaitait pas entretenir de relation intime, la cour cantonale a tranché une question de fait (cf. arrêt 6B_311/2011 du 19 juillet 2011 consid. 5.5). Elle n'a pas retenu, aux termes d'un examen en droit, l'existence d'un dol éventuel. La déclaration du recourant selon laquelle il allait de toute façon violer l'intimée si elle s'opposait à la relation est, à ce propos, particulièrement claire.
Or, le recourant ne démontre pas au moyen d'une motivation conforme aux exigences de l'<ref-law> qu'il était inadmissible de retenir, sur la base des éléments invoqués par la cour cantonale dont il n'a pas été démontré qu'ils auraient été retenus arbitrairement, qu'il savait que l'intimée ne souhaitait pas entretenir de relation sexuelle. A nouveau, si le rapport du CDTEA du 25 avril 2008 retient que l'intimée a de la difficulté à exprimer clairement son refus et à mettre des limites à son partenaire, elle a cependant, dans le cas concret, manifesté son opposition à plusieurs reprises, de manière suffisamment explicite. En outre, le fait que le recourant a discuté avec l'intimée lorsqu'elle a manifesté son désir de ne pas poursuivre la relation sexuelle indique en premier lieu qu'il avait bien compris qu'elle manifestait une opposition. Pour le surplus, le recourant ne donnant aucune précision sur la teneur des conversations qui se seraient tenues, il n'établit pas qu'il pouvait penser que l'intimée était d'accord de poursuivre leurs ébats après leurs discussions. Le recourant ne peut pas non plus tirer argument du fait qu'il aurait prétendument renoncé à adopter une position sexuelle à laquelle l'intimée avait manifesté son opposition pour tenter de démontrer qu'il avait respecté ses désirs, cette circonstance ne démontrant pas qu'il n'avait pas, au reste, volontairement passé outre le refus de la précitée. Enfin, le recourant invoque qu'il ignorait le passé de l'intimée. Cet élément n'est toutefois pas déterminant dans la mesure où son vécu ne devait pas l'amener à interpréter différemment ses protestations claires et répétées. Il n'était dès lors pas arbitraire de retenir, sur la base des éléments invoqués par la cour cantonale, que le recourant savait que la jeune fille ne souhaitait pas entretenir de relation intime et avait passé outre son opposition. L'autorité précédente pouvait donc considérer, sans violer le droit fédéral, qu'il avait agi intentionnellement.
4. Pour le surplus, le recourant ne conteste pas la peine qui lui a été infligée ou les montants qu'il a été condamnés à payer à l'intimée à titre d'indemnité pour tort moral et dommages-intérêts.
5. Le recourant, qui succombe, supporte les frais de justice (<ref-law>). Avec la décision sur le fond, la demande d'effet suspensif devient sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4'000 francs, sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du Valais, Cour pénale II.
Lausanne, le 3 novembre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Rieben