Faits:
A. Par jugement du 1er septembre 2011, le Tribunal régional du Jura Bernois-Seeland a acquitté X._ des chefs d'accusation de contrainte sexuelle, viol, tentative de viol et menace.
B. Par jugement du 13 juin 2012, la Cour suprême du canton de Berne a constaté que le jugement de première instance était entré en force s'agissant de l'acquittement de X._ des chefs d'accusation de contrainte sexuelle, viol et menace, l'a condamné pour tentative de viol à une peine privative de liberté de 9 mois avec sursis pendant 2 ans, sous déduction de 2 jours de détention avant jugement.
En bref, il ressort les éléments suivants de ce jugement.
Le soir du 1er novembre 2008, A._ se trouvait chez elle avec plusieurs amis avec lesquels elle avait consommé de l'alcool. Durant la soirée, A._ et X._ ont échangé plusieurs SMS dans lesquels il était question d'entretenir des relations sexuelles. L'un des SMS adressé par A._ (à 4h54) à X._ indiquait qu'elle le « chaufferait » s'il venait. Le dernier SMS adressé par A._, le 2 novembre à 5h38, lui signifiait toutefois que c'était trop tard et qu'elle ne souhaitait pas qu'il vienne. Vers 8h, X._ s'est présenté au domicile de A._, la fille de cette dernière lui ouvrant la porte. Il s'est alors rendu dans la chambre de A._, s'est déshabillé et s'est couché nu contre elle. Celle-ci, qui dormait nue, s'est réveillée surprise, lui a demandé ce qu'il faisait là et lui a demandé de partir. X._ a tenté de l'embrasser, mais A._ l'a repoussé en lui signifiant qu'elle ne voulait pas de rapport sexuel avec lui. Il l'a alors retournée sur le dos et s'est couché sur elle tout en essayant de l'embrasser sur la bouche. Il a tenté de lui écarter les jambes avec les siennes par la force tout en frottant son sexe en érection contre son bas-ventre. C'est alors que la fille de A._ est entrée dans la chambre pour réclamer son petit-déjeuner. Cette dernière lui a demandé de sortir pour qu'elle ne soit pas confrontée à la scène. Elle a repoussé X._ en lui expliquant qu'elle devait aller s'occuper de sa fille mais ce dernier a dit qu'elle devait rester dans la chambre, a pris le téléphone portable de cette dernière qui se trouvait sur la table de nuit et a quitté la chambre quelques instants prétendument pour aller donner à manger aux enfants. Il est ensuite revenu dans la chambre et A._ lui a demandé de partir lui signifiant qu'elle ne voulait rien faire avec lui. X._ l'a couchée sur le dos, s'est allongé sur elle et a frotté son sexe en érection contre son bas-ventre. Il l'a maintenue par les épaules pour qu'elle reste couchée et, en usant de force, a tenté de lui écarter les jambes avec les siennes. Il lui a en outre fait comprendre qu'il y arriverait par la force s'il le fallait. Devant son refus, il l'a giflée sur la joue. La fille de A._ est entrée dans la chambre et devant les supplications de cette dernière de la laisser s'occuper de ses deux enfants en bas âge, X._ l'a laissée quitter la chambre. En préparant le petit-déjeuner de ses enfants, A._ est tombée sur un couteau dont elle s'est saisie et qu'elle a brandi en direction de X._ en lui demandant de partir lorsque ce dernier s'est présenté dans la cuisine. Il est retourné dans la chambre pour se rhabiller et A._ en a profité pour sortir de son appartement afin de requérir de l'aide des voisins. Lorsqu'elle se trouvait sur le pallier, X._ a quitté son appartement.
C. X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, sous suite de frais et dépens, principalement à son acquittement, à l'allocation d'une indemnité en réparation du tort moral subi, au rejet des conclusions civiles de A._ et au renvoi du dossier à l'autorité cantonale pour nouvelle décision sur les frais et dépens. Subsidiairement, il conclut, sous suite de frais et dépens, au renvoi de la cause à l'autorité cantonale pour nouveau jugement au sens des considérants.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant invoque une constatation manifestement inexacte des faits et une violation du principe in dubio pro reo.
1.1 Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (art. 105 al. 1 LTF). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313; sur la notion d'arbitraire, v. <ref-ruling> consid. 6.1 p. 379 s.; <ref-ruling> consid. 2.4 p. 5). Ce dernier reproche se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst.; 10 CPP; art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 88). Comme principe présidant à l'appréciation des preuves, la présomption d'innocence est violée si le juge du fond se déclare convaincu de faits défavorables à l'accusé sur lesquels, compte tenu des éléments de preuve qui lui sont soumis, il aurait au contraire dû, objectivement, éprouver des doutes (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 41). L'invocation de ces moyens ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (art. 106 al. 2 LTF), suppose une argumentation claire, détaillée (<ref-ruling> consid. 1.4 p. 287) et circonstanciée (<ref-ruling> consid. 3 p. 105). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> c. 5.1 p. 356 et les références citées).
1.2 Après une analyse détaillée des déclarations de l'intimée et du recourant pour elles-mêmes et au regard des autres preuves disponibles, la cour cantonale a retenu que les déclarations de l'intimée étaient crédibles.
En substance, elle a souligné que la proximité des premières déclarations de l'intimée avec les faits était favorable. L'information était rapportée de manière correcte, sans difficultés particulières. Dans leur contenu, les déclarations de l'intimée ne contenaient pas de signaux de fantaisie ou de mensonge. Elles étaient pour l'essentiel, riches en détails, exemptes de contradictions, homogènes et constantes en ce qui concernait le vécu au moment des faits. Toutefois, on pouvait mettre en doute le détachement apparent de l'intimée par rapport à la relation prétendument exclusivement charnelle entretenue avec le recourant. Il était fort probable qu'il y ait eu des discussions entre le recourant et l'intimée quant au sens à donner à leur relation. Mais lorsque le recourant prétendait que ses paroles blessantes à ce sujet auraient dissuadé l'intimée de procéder à l'acte sexuel le 2 novembre 2008, il n'était pas convaincant. Déjà avant l'arrivée du recourant, l'intimée lui avait signalé qu'elle n'était plus disponible et qu'elle refusait tout acte sexuel. Il paraissait en outre crédible qu'elle se soit endormie bien avant son arrivée, vu qu'elle n'avait pas répondu à ses derniers messages après 5h38. De ce fait, la cour cantonale n'adhérait pas à la thèse de la police et du recourant selon laquelle la plainte déposée par l'intimée aurait été une forme de vengeance. La mise en relation des déclarations de l'intimée avec les autres moyens de preuve donnait un bon nombre d'éléments qui allaient dans le sens d'une bonne adéquation de celles-ci avec la réalité. Le fait, confirmé par une voisine, que l'intimée soit sortie à moitié nue un couteau à la main dans l'immeuble pour requérir du secours portait à confirmer qu'un événement traumatisant avait bien eu lieu.
La cour cantonale a, en conclusion, retenu que, hormis la question du SMS suggestif, il n'y avait pas d'autres indices déterminants qui permettaient de mettre en doute de manière fondamentale le récit que l'intimée avait fait des événements. Ce n'était pas parce qu'elle avait adressé un SMS suggestif au recourant qu'elle n'était plus en droit, par la suite, de refuser une relation sexuelle. Lorsqu'elle disait qu'elle était couchée lors de l'arrivée du recourant et qu'elle n'était plus intéressée à un contact sexuel, elle était crédible. Elle lui avait fait savoir qu'elle était au lit et lui avait demandé de trouver une autre personne pour assouvir ses désirs sexuels. Son refus se comprenait également en raison de la présence de ses enfants et du fait que l'heure matinale ne permettait plus de s'adonner à des ébats en ayant la certitude qu'ils n'y seraient pas confrontés.
Quant au recourant, il avait, en substance, déclaré dans sa première audition à la police qu'il s'était présenté chez l'intimée qui était venue lui ouvrir la porte nue. Il s'était rendu dans la chambre, déshabillé et elle avait commencé à lui faire une fellation lorsqu'une discussion sur la nature de leur relation avait débuté. Cette discussion avait duré 15 minutes pendant lesquelles l'intimée lui tenait le sexe dans la main. Puis, il était parti. Lors de sa seconde audition par la police, il avait admis avoir frappé l'intimée, en raison du fait qu'elle refusait d'entretenir une relation sexuelle complète après l'avoir « chauffé ». Devant le juge d'instruction, le recourant avait en revanche déclaré qu'il avait mis une claque à l'intimée parce qu'elle lui avait serré très fort le sexe. La cour cantonale a ainsi retenu que l'analyse des déclarations du recourant donnait une image moins crédible des faits. L'analyse du contenu de celles-ci montrait que les faits n'avaient pas pu se dérouler comme il l'avait dit (discussion « sexe à la main » pendant 15 minutes, douleur par pincement du pénis omise dans les premières déclarations, plusieurs versions différentes sur les enfants). Sa narration libre des faits était beaucoup plus pauvre en détails et moins individualisée. Ses déclarations n'étaient pas ou très peu corroborées par d'autres moyens de preuve.
La cour cantonale a ainsi retenu qu'elle n'éprouvait pas de doute sérieux et irréductible par rapport à la version des faits donnée par l'intimée qui devait emporter la conviction sur celle fournie par le recourant.
1.3 En tant que l'argumentation du recourant consiste, pour l'essentiel, à opposer sa propre appréciation des faits à celle de la cour cantonale, elle est largement appellatoire, partant irrecevable.
Il en va en particulier ainsi lorsqu'il prétend que c'est l'intimée qui est venue lui ouvrir la porte. Se contentant de l'affirmer, il ne démontre pas en quoi il serait insoutenable de retenir, comme l'a fait la cour cantonale, que c'est la fille de l'intimée qui est venue lui ouvrir la porte. Son grief est irrecevable.
Se référant à des passages du rapport de police et des témoignages en rapport avec les faits pour lesquels le recourant a bénéficié d'un acquittement, il soutient que les déclarations de l'intimée ne seraient pas crédibles. Les parties auraient entretenu des relations qui sortent de l'ordinaire et l'intimée ne l'aurait pas vraiment assumé. Encore une fois, le recourant ne fait qu'opposer son appréciation des faits à celle de la cour cantonale, sans démontrer en quoi cette dernière, qui a tenu compte de ces éléments, serait tombée dans l'arbitraire. Son grief est irrecevable.
1.4 Le recourant fait grief à la cour cantonale de ne pas avoir tenu compte des échanges de SMS durant la soirée, ainsi que du fait que l'intimée n'y avait pas fait référence lors de sa première audition et qu'elle en avait effacé une partie. Ces éléments permettraient de mettre en doute la crédibilité de l'intimée. A cet égard, la cour cantonale a relevé que, dans un premier temps, l'intimée avait nié avoir été active pour faire venir le recourant chez elle et avoir envoyé un message insinuant qu'elle le « chaufferait ». Elle avait ensuite prétendu qu'elle ne s'en souvenait plus, mais qu'à ce moment-là elle n'aurait pas dit non à une relation sexuelle. Dans les phases ultérieures de l'instruction et du procès, elle avait encore dit avoir envoyé ce message pour se débarrasser du recourant. La cour cantonale a ainsi retenu que c'était bien l'intimée qui avait envoyé le premier SMS et que son intention était clairement d'entretenir des relations sexuelles avec le recourant. Elle a toutefois relevé qu'après ce message, l'intimée avait encore envoyé d'autres messages et que, dans celui de 5h38, elle disait au recourant « mai viens mnt ou pa ! » puis « mnt suis au lit bne nuit. Falait reflechir avant. Tiens va baiser nina ». Elle a par ailleurs relevé que l'attitude de l'intimée en procédure par rapport au SMS suggestif était pour le moins ambiguë. Néanmoins, cet élément n'était pas de nature à jeter le discrédit sur l'ensemble de ses déclarations. Contrairement à ce qu'affirme le recourant, la cour cantonale a bien tenu compte de l'ensemble des SMS échangés et a exposé en détails pourquoi cet élément ne suffisait pas à remettre en cause la crédibilité de l'intimée. Le recourant ne démontre ainsi pas que la cour cantonale aurait arbitrairement ignoré des éléments de preuve et en quoi son appréciation serait insoutenable. Insuffisamment motivé, son grief est irrecevable.
2. Le recourant invoque une violation de l'art. 190 al. 1 CP.
2.1 L'art. 190 CP réprime le comportement de celui qui, notamment en usant de menace ou de violence, en exerçant sur sa victime des pressions d'ordre psychique ou en la mettant hors d'état de résister, aura contraint une personne de sexe féminin à subir l'acte sexuel.
2.2 Le recourant soutient que pour que le viol soit retenu, il faut que l'acte sexuel proprement dit soit commis. Il ne serait pas établi qu'il était question ce soir-là d'un acte sexuel proprement dit. Ce faisant, le recourant ne fait qu'opposer sa propre appréciation des faits à celle de la cour cantonale. Cette dernière a retenu que le recourant s'était rendu le soir en question chez l'intimée avec l'intention d'entretenir une relation sexuelle. Au demeurant, le recourant a frotté son sexe en érection sur le bas-ventre de l'intimée tout en tentant de lui écarter les jambes. Au stade de la tentative, la cour cantonale, pouvait, sans arbitraire, retenir que le recourant avait l'intention de pénétrer l'intimée. Le grief du recourant est rejeté dans la mesure où il est recevable.
2.3 Le recourant soutient que l'intimée était consentante et qu'elle n'a jamais manifesté le moindre refus, au-delà duquel il serait passé. De la sorte, il conteste à nouveau l'état de fait établi par la cour cantonale. Cette dernière a toutefois retenu, sans arbitraire, la version des faits de l'intimée qui a expliqué qu'elle avait clairement manifesté son refus. Appellatoire, le grief du recourant est irrecevable.
2.4 Le recourant critique le raisonnement qui a conduit la cour cantonale à retenir qu'il devait se rendre compte que l'intimée n'était pas consentante.
Cet élément constitue un aspect de l'intention. Le viol est une infraction intentionnelle, le dol éventuel étant suffisant. L'auteur doit savoir que la victime n'est pas consentante ou, du moins, en accepter l'éventualité, et il doit vouloir ou, à tout le moins, accepter qu'elle soit contrainte par le moyen qu'il met en oeuvre ou la situation qu'il exploite (arrêt 6B_311/2011 du 19 juillet 2011 consid. 5.5; 1B_112/2011 du 26 mai 2011 consid. 3.1 in fine; BERNARD CORBOZ, Les infractions en droit suisse, vol. I, 3e éd. 2010, no 11 ad art. 190 CP). Déterminer ce qu'une personne a su, voulu, envisagé ou accepté relève de l'établissement des faits. Est en revanche une question de droit, celle de savoir si l'autorité cantonale s'est fondée sur une juste conception de la notion d'intention, notamment de dol éventuel, et si elle l'a correctement appliquée sur la base des faits retenus et des éléments à prendre en considération (<ref-ruling> consid. 2.3.2 p. 156).
A cet égard, la cour cantonale a retenu que, dans une première phase, le recourant pouvait légitimement croire que l'intimée était consentante, au vu des SMS reçus, des épisodes précédents qui s'étaient déroulés entre eux, du fait que les refus étaient de toute évidence courants de la part de l'intimée et que le recourant avait déjà dû se montrer insistant pour obtenir les faveurs sexuelles de celle-ci (et les avait obtenues). Toutefois, dès la première interruption par l'un des enfants de l'intimée, il était reconnaissable pour le recourant que l'intimée ne voulait en aucun cas entretenir une relation sexuelle avec lui, dès lors que les enfants auraient pu se rendre compte de ce qu'il se passait.
Le recourant soutient que le raisonnement de la cour cantonale ne tiendrait pas compte du fait que, comme elle l'a retenu, c'était l'un des enfants de l'intimée qui avait ouvert la porte au recourant. Si l'on suivait ce raisonnement, il aurait d'emblée dû être reconnaissable pour le recourant que l'intimée ne voulait en aucun cas avoir une relation sexuelle avec lui puisque les enfants étaient déjà en mesure de se rendre compte de ce qu'il se passait. Le raisonnement de la cour cantonale serait ainsi contradictoire. Toutefois, on comprend de l'argumentation de la cour cantonale qu'elle s'est placée du point de vue de l'intimée. Lorsqu'elle s'était faite surprendre par le recourant, elle n'avait pas encore conscience que ses enfants étaient debout et le recourant ne pouvait l'ignorer puisqu'il l'avait lui-même réveillée. Durant cette phase, il pouvait encore croire que le refus de l'intimée n'était pas définitif au vu des épisodes précédents qui s'étaient déroulés entre eux. Au moment de l'irruption de l'un des enfants de l'intimée dans la chambre, il devenait reconnaissable pour le recourant que le refus de l'intimée était à tout le moins motivé par le fait que les enfants étaient réveillés, qu'ils auraient pu se rendre compte de ce qu'il se passait et qu'il devenait ainsi exclu d'entretenir une relation sexuelle. Le raisonnement de la cour cantonale consistant à distinguer deux phases dans le déroulement des faits et à considérer que dans la seconde, le recourant devait savoir que l'intimée ne voulait en aucun cas entretenir une relation sexuelle avec lui, n'est ainsi pas contradictoire. Le recourant ne démontre donc pas en quoi l'arrêt entrepris reposerait sur une constatation arbitraire des faits. Pour le surplus, l'argumentation du recourant est appellatoire pour ce qu'il ne fait qu'exposer, une nouvelle fois, sa version des faits. Le grief du recourant doit être rejeté dans la mesure où il est recevable.
2.5 Dans une argumentation qu'il prétend consacrer à la notion de tentative, le recourant soutient que l'intimée et lui ont mis un terme à leurs ébats en raison d'une discussion houleuse sur la nature de leur relation et non en raison des supplications de l'intimée. Encore une fois, le recourant ne fait qu'opposer sa propre version des faits à celle retenue, sans arbitraire, par la cour cantonale. Appellatoire, son grief est irrecevable.
2.6 Selon les faits retenus sans arbitraire par la cour cantonale, le recourant a bien tenté d'entretenir une relation sexuelle complète avec l'intimée malgré le refus de celle-ci. Pour ce faire, il a couché l'intimée sur le dos, s'est allongé sur elle, l'a maintenue par les épaules pour qu'elle reste couchée et, en usant de force, a tenté de lui écarter les jambes. Devant son refus, il l'a giflée. Le recourant a fait usage de la contrainte, ce moyen ayant pour but d'obtenir un rapport sexuel. La cour cantonale était donc fondée à condamner le recourant pour tentative de viol.
3. Le recours doit ainsi être rejeté dans la mesure où il est recevable. Vu son sort, la demande du recourant en indemnité pour tort moral est infondée. Le recourant, qui succombe, supporte les frais judiciaires (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens au Ministère public (art. 68 al. 3 LTF), ni à l'intimée qui n'a pas été invitée à procéder (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour suprême du canton de Berne, Section pénale, 2ème Chambre pénale.
Lausanne, le 18 février 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet