Faits:
A. Par jugement du 29 novembre 2011, le Tribunal pénal de la Gruyère a acquitté X._ du chef d'accusation de brigandage, l'a condamné pour viol, vol d'importance mineure et violation grave des règles de la circulation routière à une peine privative de liberté de 36 mois dont 24 mois avec sursis pendant 3 ans et au paiement d'une amende de 200 francs. Il a également partiellement admis les conclusions civiles formulées par A._ et lui a alloué un montant de 15'000 fr. pour le tort moral et divers montants pour ses frais de déplacement et d'avocat.
B. Par arrêt du 3 octobre 2012, la Cour d'appel pénal du Tribunal cantonal fribourgeois a rejeté l'appel formé par X._.
En bref, il ressort les éléments suivants de cet arrêt.
Le 5 août 2009, X._ s'est rendu au salon de massage tenu par A._. Cette dernière lui a prodigué une fellation, le montant de cette prestation s'élevant à 80 francs. Après que A._ s'est exécutée, X._ a réclamé un massage et s'est entièrement déshabillé à cet effet. Il a ensuite exigé qu'elle se déshabille également car il voulait avoir un rapport sexuel complet et l'a poussée sur le lit. Vu son comportement agressif et les propos tenus notamment sur son prétendu passé de prisonnier, A._ s'est exécutée, de peur, et l'a laissé faire. Il l'a pénétrée pendant quelques minutes avant d'éjaculer dans le préservatif qu'il portait. Durant l'acte, il lui a tiré les cheveux, pincé les seins, mis les mains sur le cou, lui disant qu'elle avait un joli cou et l'a serré. Après le rapport, il s'est rendu dans la salle de bain et en est ressorti habillé. Il s'est mis à discuter avec elle et lui a raconté des mensonges sur sa vie, son passé de prisonnier et ses problèmes psychiatriques. Il a exigé qu'elle lui rende l'argent qu'il lui avait donné pour la prestation et l'a finalement repris sans qu'elle lui donne son accord. Il a ensuite exigé un second rapport sexuel. Il s'est déshabillé et l'a poussée sur le lit avant d'enfiler un nouveau préservatif et de la pénétrer. Effrayée, A._ s'est à nouveau exécutée. Durant le second acte, X._ lui caressait et lui serrait le cou, ce qui l'a d'autant plus affolée, craignant l'étranglement. Puis, X._ s'est à nouveau rendu dans la salle de bain, s'y est rhabillé et lui a laissé son numéro de téléphone souhaitant qu'elle vienne le chercher à 19h30 afin qu'il puisse conduire sa voiture avant de quitter les lieux.
C. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, sous suite de frais et dépens, principalement à la réforme de l'arrêt entrepris en ce sens qu'il est acquitté de l'infraction de viol, condamné pour vol d'importance mineure et violation grave des règles de la circulation routière à une peine pécuniaire de 20 jours-amende à 50 fr. avec sursis pendant 3 ans et à une amende de 200 fr., qu'il lui est alloué une indemnité équitable et que les conclusions civiles de A._ sont rejetées. Subsidiairement, il conclut, sous suite de frais et dépens, au renvoi de la cause à l'instance précédente pour nouvelle décision et à l'allocation d'une indemnité équitable. Il requiert, par ailleurs, l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Invoquant les art. 29 al. 2 Cst., 6 par. 1 CEDH, 95 et 112 al. 1 let. b LTF, le recourant reproche à la cour cantonale d'avoir violé son obligation de motiver sa décision.
1.1 Selon l'art. 112 al. 1 let. b LTF, les décisions qui peuvent faire l'objet d'un recours au Tribunal fédéral doivent indiquer « les motifs déterminants de fait et de droit » sur lesquels l'autorité s'est fondée. Si la décision attaquée ne satisfait pas à ces exigences, le Tribunal fédéral peut soit la renvoyer à l'autorité cantonale en invitant celle-ci à la parfaire, soit l'annuler (art. 112 al. 3 LTF).
Cette disposition concrétise le droit d'être entendu (art. 29 al. 2 Cst. et art. 6 par. 1 CEDH) dont la jurisprudence a déduit le devoir pour l'autorité de motiver sa décision, afin que le destinataire puisse la comprendre, la contester utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle. Pour répondre à ces exigences, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision. Il n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 4.1 p.88; <ref-ruling> consid. 3.3 p. 445). La motivation peut pour le reste être implicite et résulter des différents considérants de la décision (arrêt 6B_101/2011 du 14 février 2012 consid. 3.1).
1.2 Le recourant reproche, de manière générale, à la cour cantonale de n'avoir pas clairement établi l'état de fait qu'elle retenait. L'autorité cantonale ne ferait que retracer, dans la partie « en fait » de son arrêt, l'historique de la procédure et reprendre l'état de fait retenu par le tribunal de première instance. Elle aborderait, dans sa partie « en droit » tant les questions de fait que celles de droit sans les distinguer clairement.
Il est exact que, dans la partie « en fait » de son arrêt, la cour cantonale reprend les différentes étapes de la procédure et résume les faits tels que retenus par le tribunal de première instance. Elle procède ensuite, dans sa partie « en droit », à l'appréciation des preuves. C'est ainsi qu'elle commence par reprendre la version des faits de l'intimée, puis celle du recourant. Elle expose ensuite de manière détaillée pour quels motifs elle estime que les déclarations de l'intimée sont crédibles et que celles du recourant ne le sont pas du tout. On comprend ainsi de la motivation de la cour que les faits retenus sont ceux tels qu'ils ressortent des déclarations de l'intimée et tels qu'ils ont été retenus dans le jugement de première instance. Contrairement à ce que semble prétendre le recourant, il n'était pas nécessaire que la cour cantonale apprécie chaque déclaration qu'elle reproduit dans son jugement. La conclusion que les déclarations de l'intimée dans leur ensemble sont crédibles est suffisante. Bien que la répartition des éléments dans la partie « en fait » et dans la partie « en droit » de l'arrêt n'apparaisse pas opportune, cet aspect n'est pas suffisant pour admettre une violation du droit d'être entendu du recourant ou de l'art. 112 al. 1 let. b LTF, dès lors que les faits décisifs ressortent de manière suffisante de l'exposé « en droit » du jugement. Mal fondé, le grief du recourant doit être rejeté.
1.3 Le recourant formule encore différents griefs qu'il rattache à la violation de son droit d'être entendu mais qui relèvent, à plusieurs égards, de l'appréciation des preuves, que le Tribunal fédéral ne revoit que sous l'angle de l'arbitraire (cf. infra consid. 2.1). Quoi qu'il en soit, les critiques émises dans ce cadre sont infondées, dans la mesure où elles sont recevables, pour les motifs suivants.
1.3.1 Le recourant reproche à la cour cantonale d'avoir constaté « en fait » qu'il avait effrayé et soumis à sa volonté l'intimée lors de la discussion qu'il a eue avec elle après le premier acte sexuel et de n'avoir procédé qu'ensuite à l'appréciation de la crédibilité des déclarations des parties. La cour cantonale aurait ainsi déjà constaté des éléments de fait avant d'apprécier les moyens de preuve. Ce faisant, le recourant perd de vue que la cour cantonale a relevé que le contenu de la conversation était relaté de la même manière par le recourant et par l'intimée. Elle pouvait ainsi, en présence de faits non contestés par les parties, d'ores et déjà les tenir pour établis avant même de procéder à l'appréciation du reste des déclarations de chacun des protagonistes.
1.3.2 Selon le recourant, il ne ressortirait pas clairement de l'arrêt attaqué s'il a adopté un comportement agressif avant ou après le premier acte sexuel. Il en irait de même s'agissant des propos qu'il a tenus au sujet de son passé de prisonnier et de ses problèmes psychiques. Il semblerait que la cour cantonale ait retenu « en fait » qu'ils auraient été tenus après le premier acte sexuel, alors que son raisonnement « en droit » sous-entendrait qu'ils auraient été tenus avant le premier acte sexuel.
Il ressort des faits retenus par la cour cantonale, fondés sur les déclarations de l'intimée, qu'au cours de la fellation, le recourant a exigé un massage. Il s'est déshabillé et couché sur la table de message. L'intimée a déclaré que durant le massage, le recourant avait commencé à lui dire qu'il avait fait de la prison, qu'il n'avait rien à perdre et il était devenu nerveux. Il avait changé d'attitude ce qui lui avait fait comprendre qu'il voulait autre chose. Elle lui avait signifié qu'elle ne voulait pas faire l'amour parce qu'ils n'avaient pas convenu de ce rapport. Il l'avait alors poussée sur le lit en lui disant qu'il allait la baiser. Elle était restée sur le dos et il s'était couché sur elle. Il lui tirait les cheveux et lui pinçait les seins. A un moment donné, il avait mis ses deux mains sur son cou, lui déclarant qu'elle avait un joli cou, et avait serré. Ces propos se rapportent clairement au premier rapport sexuel dès lors qu'il est fait référence au massage qui n'a eu lieu qu'avant le premier rapport sexuel.
La cour cantonale expose ensuite, toujours en référence aux déclarations de l'intimée, qu'après le premier rapport, le recourant est allé à la salle de bains et s'est rhabillé. Il a entamé une discussion avec l'intimée au cours de laquelle, comme il l'a lui-même admis, il a déclaré qu'il avait fait de la prison, qu'il avait fait des conneries étant mineur et qu'il n'était pas bien psychologiquement dans le but de l'impressionner. Il a adopté un comportement agressif et autoritaire tant par ses propos que par ses gestes. A la fin de la discussion, il s'est relevé, a enlevé sa ceinture et s'est complétement déshabillé. Il a poussé l'intimée sur le lit en lui disant qu'il allait encore la baiser. L'intimée lui a signifié qu'elle n'était pas d'accord avec cette seconde relation sexuelle. Elle a expliqué qu'il était sur elle, qu'elle avait les bras écartés et qu'elle ne le touchait pas. Il lui tirait les cheveux et lui pinçait les seins. Il avait les yeux exorbités. Il lui tenait le cou et était essoufflé. Elle avait vraiment eu peur qu'il l'étrangle. Elle avait eu froid tellement elle avait peur. Ces propos se rapportent clairement au second rapport sexuel.
La cour cantonale a donc bien distingué les deux actes et retenu que le recourant avait tenu des propos inquiétants sur son passé de prisonnier lorsqu'il se faisait masser, soit avant le premier acte sexuel, ainsi que lors de la conversation tenue avant le second acte lors de laquelle il avait également fait état de problèmes psychiatriques. Il avait en outre adopté un comportement agressif avant les deux actes. Les faits retenus par la cour cantonale sont clairs et le recourant ne démontre pas en quoi l'arrêt attaqué violerait son droit d'être entendu.
1.3.3 Le recourant fait grief à la cour cantonale d'avoir retenu que certains faits, soit le déshabillage de l'intimée et la visite d'un autre client durant les événements, constituaient des éléments périphériques, sans expliquer en quoi. La cour cantonale a toutefois exposé que ces éléments étaient périphériques - par quoi l'on comprend qu'ils ne sont pas décisifs dans le déroulement des faits constitutifs de l'infraction - et que quelle que soit la version retenue au sujet de ceux-ci, aucune n'était incompatible avec les faits que l'intimée reprochait au recourant. Selon le recourant, cette manière de faire violerait son droit d'être entendu dès lors que la cour cantonale n'aurait pas exposé quelle version elle retenait et pour quelle raison ce qui l'empêcherait de contester l'état de fait devant l'instance supérieure. Conformément à son devoir de motiver, la cour cantonale pouvait se limiter à examiner les questions décisives pour l'issue du litige. Or, elle a exposé que ces éléments n'étaient pas décisifs dès lors que l'une ou l'autre version n'entraient pas en contradiction avec les faits reprochés au recourant. Cette motivation est suffisante sous l'angle du droit d'être entendu et le recourant l'a comprise dans la mesure où il conteste le caractère non décisif de ces éléments plus loin dans son recours (cf. infra consid 2.6).
1.3.4 Le recourant reproche à la cour cantonale de ne pas avoir apprécié le témoignage du propriétaire de l'appartement où se sont déroulés les faits et de ne pas l'avoir comparé aux déclarations des parties, ce qui l'empêcherait de contester efficacement cette appréciation.
La cour cantonale a retenu que le propriétaire de l'appartement avait attesté avoir entendu des cris et retrouvé l'intimée sur le pas de la porte du studio où elle s'était mise à pleurer. Ce faisant, elle a apprécié le témoignage du propriétaire, retenant notamment que sa description des faits concernait bien les événements du jour en question. Le recourant conteste d'ailleurs cette appréciation plus loin dans son recours (cf. infra consid. 2.7), ce qui démontre bien qu'il l'a comprise. Son droit d'être entendu n'a pas été violé.
2. Le recourant fait grief à la cour cantonale d'avoir violé le principe de la présomption d'innocence, de l'interdiction de l'arbitraire et l'art. 398 al. 2 CPP.
2.1 La présomption d'innocence, garantie par les art. 32 al. 1 Cst., 10 CPP, 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe in dubio pro reo, concernent tant le fardeau de la preuve que l'appréciation des preuves (<ref-ruling> consid. 2c p. 36 et les références citées). En l'espèce, le recourant n'invoque ce principe que sous l'angle de l'appréciation des preuves, reproche qui se confond avec l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 88).
Comme principe présidant à l'appréciation des preuves, la présomption d'innocence est violée si le juge du fond se déclare convaincu de faits défavorables à l'accusé sur lesquels, compte tenu des éléments de preuve qui lui sont soumis, il aurait au contraire dû, objectivement, éprouver des doutes (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 41; <ref-ruling> consid. 2c p. 37). En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 4.2 p. 234; <ref-ruling> consid. 4.2 p. 560).
L'invocation de ces moyens ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (art. 106 al. 2 LTF), suppose une argumentation claire et détaillée (<ref-ruling> consid. 1.4 p. 287), circonstanciée (<ref-ruling> consid. 3 p. 105). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356 et les références citées).
2.2 La cour cantonale a retenu la version des faits telle qu'elle ressort des déclarations de l'intimée. En substance, elle a exposé que les parties avaient des versions diamétralement opposées. Toutefois, dans les éléments déterminants et leur enchaînement, les déclarations de l'intimée étaient constantes, à l'inverse de celles du recourant, qui n'avait au demeurant que peu de souvenirs clairs et cohérents. Quant aux divergences que relevait le recourant dans les déclarations de l'intimée relatives à certains faits (déshabillage, coup de sonnette...), elles n'avaient pas la portée qu'il voulait leur donner. En effet, d'une part, elles portaient sur des éléments périphériques; d'autre part, quelle que fusse l'hypothèse retenue, aucune n'était incompatible avec les faits que l'intimée reprochait au recourant. En revanche, le recourant avait varié sensiblement dans ses déclarations aux fins de démontrer que les rapports survenus procédaient d'une envie partagée. En outre, sa présentation d'une prostituée tombant subitement sous son charme, au point de lui consacrer plus de temps que prévu et de lui faire cadeau de la somme versée, bien inférieure aux prix usuels, était tout à fait invraisemblable. Elle l'était d'autant plus en tenant compte du fait que le recourant ne contestait plus le vol de la somme en question, admettant nécessairement ainsi s'en être emparée contre la volonté de l'intimée. Cette reconnaissance discréditait par-là même la thèse de l'histoire d'amour librement consentie sur laquelle il s'appuyait pour dénier les viols. Selon toute vraisemblance, l'intimée avait immédiatement entrepris l'acte de fellation correspondant au tarif préalablement payé, ce contrairement aux propos tenus par le recourant. A ce titre, l'intimée avait déclaré qu'elle voulait faire une fellation rapide, le but n'étant pas d'aller au lit. Par ailleurs, elle avait l'habitude de rencontrer des hommes de 18 ans, selon ses dires. Elle ne l'aurait dès lors pas séduit, ce d'autant moins qu'elle ne connaissait pas ses habitudes et ne pouvait, selon elle, pas se comporter de la sorte. S'agissant du rapport complet, l'intimée avait précisé qu'un tel rapport débutait par une douche du client, suivi d'un massage sur la table, puis d'un rapport sexuel complet dans le lit. Cette prestation était facturée 200 fr., mais il arrivait que l'intimée accepte 100 ou 150 fr. si le client était pressé et ne voulait pas le massage. Aussi, au vu du prix payé, à savoir 80 fr., et le temps mis à disposition, il convenait de retenir que seule une fellation avait réellement été convenue entre les parties. C'est la version de l'intimée qui devait ainsi être retenue selon laquelle elle s'était opposée aux rapports sexuels, notamment verbalement, puis par les gestes, en ne touchant pas le recourant durant l'acte. Vu les descriptions faites par l'intimée quant au comportement agressif du recourant, de plus en plus insistant et exigeant, et au vu des propos que le recourant admettait lui-même avoir tenus quant à son passé de prisonnier et ses problèmes psychiques, il fallait admettre que ce dernier avait bien exercé des pressions d'ordre psychique sur l'intimée. De façon compréhensible dans de telles circonstances, celle-ci n'avait ainsi pas été en mesure de s'opposer aux actes sexuels qu'il lui avait fait subir contre son gré. Le recourant ne pouvait ignorer que son attitude et ses propos étaient de nature à effrayer l'intimée, plutôt qu'à la séduire, et que les relations sexuelles ainsi obtenues étaient contraintes.
2.3 Reprenant les mêmes arguments que ceux développés à l'appui de son grief de violation du droit d'être entendu, le recourant reproche à la cour cantonale d'avoir violé l'art. 398 al. 2 CPP selon lequel la juridiction d'appel jouit d'un plein pouvoir d'examen sur tous les points attaqués du jugement. La cour cantonale se serait contentée de se référer à l'état de fait retenu par l'autorité de première instance et n'aurait pas procédé à un nouvel examen des faits. Comme déjà exposé (cf. supra consid. 1.2), la cour cantonale a repris la version des faits de chacune des parties et, après avoir procédé à une analyse de leur crédibilité, a retenu celle de l'intimée. Elle a ainsi bien procédé à un nouvel examen des faits et les a établis à satisfaction. Elle n'a pas violé l'art. 398 al. 2 CPP. En outre, le recourant ne démontre pas en quoi les principes de la libre appréciation des preuves et de la présomption d'innocence seraient violés, se contentant de les invoquer. Mal fondé, le grief du recourant est rejeté dans la mesure où il est recevable.
2.4 Le recourant soutient que la cour cantonale aurait arbitrairement établi les faits en retenant uniquement la version des faits de l'intimée. Il se contente d'affirmer que la cour cantonale a retenu, sans raison pertinente, des faits à charge et écarté des faits à décharge sans exposer en quoi il serait insoutenable de retenir ceux-ci et d'écarter ceux-là. Insuffisamment motivé, le grief est irrecevable.
2.5 Le recourant relève que la cour cantonale a constaté des divergences dans les déclarations de l'intimée, mais s'est contentée de les qualifier de périphériques pour les écarter. Ce faisant, elle aurait évité de se prononcer sur la crédibilité de l'intimée et d'établir l'état de fait, violant la présomption d'innocence.
Contrairement à ce qu'affirme le recourant, la cour cantonale s'est longuement exprimée sur la crédibilité des parties et a exposé de manière détaillée les motifs qui permettaient de retenir la version des faits de l'intimée, malgré les quelques divergences dans les déclarations de celle-ci, et d'écarter celle du recourant (cf. supra consid. 2.2). Ce dernier ne démontre pas en quoi l'appréciation opérée par la cour cantonale serait arbitraire, se contentant de l'affirmer. Insuffisamment motivé, son grief est irrecevable.
2.6 Le recourant relève que l'intimée aurait soutenu lors de son audition par la police, qu'un client s'était présenté au salon lorsque le recourant se trouvait dans la salle de bains après le premier acte sexuel et qu'elle était allée lui ouvrir la porte pour lui signifier qu'elle était occupée et ce malgré l'interdiction faite par le recourant. Dans son audition devant le juge d'instruction, elle aurait déclaré qu'un client s'était présenté mais qu'elle n'avait pas osé aller lui ouvrir par peur du recourant. Elle aurait enfin déclaré devant le tribunal de première instance qu'elle n'avait pas ouvert la porte lorsque le client avait sonné mais lui aurait répondu en criant par la fenêtre, cette dernière version correspondant aux déclarations du recourant. Pour autant que l'on comprenne les griefs du recourant, il soutient, en substance, que la cour cantonale ne pouvait qualifier cet élément de fait de périphérique et considérer que quelle que soit la version retenue, elle était compatible avec les faits reprochés au recourant. Elle aurait dû retenir, au bénéfice du doute, en tant que version la plus favorable, qu'un client s'était présenté au salon de massage après le premier rapport sexuel, que l'intimée était allée lui ouvrir la porte pour lui signifier qu'elle était occupée et ce malgré l'interdiction faite par le recourant. Sur cette base, il était arbitraire de retenir, comme l'a fait la cour cantonale, que l'intimée était dans une situation dans laquelle on ne pouvait attendre d'elle qu'elle oppose une résistance au recourant et par conséquent qu'il lui avait fait subir des pressions d'ordre psychologique pour entretenir des relations sexuelles. La cour cantonale aurait ainsi violé la présomption d'innocence, l'interdiction de l'arbitraire et le principe de la libre appréciation des preuves.
Le recourant ne prétend ni ne démontre qu'il était arbitraire de retenir qu'il avait adopté un comportement agressif et tenu des propos qui étaient de nature à effrayer l'intimée, notamment sur ses prétendus problèmes psychiatriques et son prétendu passé de prisonnier et ce avant le premier et le second rapport sexuel. Même à retenir que l'intimée était allée ouvrir la porte à un client, ces faits se seraient déroulés après le premier rapport sexuel. Or, les pressions psychologiques et le sentiment de se trouver dans une situation sans espoir doit avoir lieu avant l'acte sexuel, dans le but de l'obtenir. Ainsi, le fait que l'intimée ait pu se sentir, après le premier rapport sexuel, suffisamment libre pour aller ouvrir la porte à un client n'est pas de nature à démontrer qu'il serait insoutenable de retenir que le recourant avait exercé une pression psychologique avant le premier acte. Au demeurant, le fait que l'intimée n'ait pas cherché à fuir mais ait uniquement indiqué au client qu'elle n'était pas libre peut être compris par le fait que la simple présence du recourant suffisait à maintenir une certaine pression qui l'a poussée à se débarrasser de ce client au plus vite par crainte de la réaction du recourant. S'agissant du second rapport sexuel, le recourant a « réactivé » ses pressions psychologiques en invoquant à nouveau ses problèmes psychiatriques et son passé de prisonnier et en adoptant un comportement agressif lors de la conversation entretenue avec l'intimée. A ce moment, le client était parti depuis plusieurs minutes et il n'était pas insoutenable de retenir que l'intimée n'était pas en mesure de s'opposer aux actes du recourant. La cour cantonale pouvait par conséquent, sans arbitraire, retenir qu'elle n'avait pas besoin d'établir si un client s'était présenté et quelle avait été la réaction de l'intimée, dès lors que la version la plus favorable au recourant n'était pas incompatible avec les faits reprochés à celui-ci. Mal fondé, le grief doit être rejeté.
2.7 Le recourant soutient que l'intimée aurait pu alerter son voisin et propriétaire de l'appartement par ses cris et qu'elle savait qu'il était présent dans son magasin, attenant au salon de massage.
En tant que l'argumentation du recourant consiste, pour l'essentiel, à opposer sa propre appréciation des faits à celle de la cour cantonale, elle est appellatoire, partant irrecevable. Il en va notamment ainsi lorsqu'il allègue que la description des faits ressortant de l'audition du voisin concernerait en réalité d'autres événements, que l'intimée pouvait alarmer son voisin par ses cris et qu'elle savait qu'il était présent et pouvait entendre ses cris. Au demeurant, la cour cantonale a retenu que le recourant avait adopté un comportement agressif, de plus en plus insistant et exigeant, qu'il avait tenu des propos sur son passé de prisonnier et ses problèmes psychiatriques qui étaient de nature à effrayer l'intimée et à la soumettre à sa volonté. Dans ces circonstances, il n'était pas arbitraire de retenir qu'on ne pouvait attendre de l'intimée qu'elle crie dès lors qu'elle ne pouvait être sûre que son voisin était bien présent et qu'il pourrait l'entendre. Si tel n'était pas le cas, l'intimée prenait le risque d'énerver davantage le recourant dont on rappelle qu'il a, lors des deux rapports sexuels, apposé et serré ses mains sur le cou de l'intimée. Contrairement à ce que soutient le recourant, le fait qu'elle soit allée, juste après les faits, frapper à la porte de son voisin ne démontre pas qu'elle savait qu'il était présent, mais simplement qu'elle espérait qu'il le soit.
3. Le recourant invoque une violation de l'art. 190 CP.
3.1 Aux termes de l'art. 190 al. 1 CP, se rend coupable de viol celui qui, notamment en usant de menace ou de violence, en exerçant sur sa victime des pressions d'ordre psychique ou en la mettant hors d'état de résister, aura contraint une personne de sexe féminin à subir l'acte sexuel.
Le viol est un délit de violence, qui suppose en règle générale une agression physique. Il en résulte que toute pression, tout comportement conduisant à un acte sexuel non souhaité, ne saurait être qualifié de contrainte. L'art. 190 CP, comme l'art. 189 CP (contrainte sexuelle), ne protège des atteintes à la libre détermination en matière sexuelle que pour autant que l'auteur surmonte ou déjoue la résistance que l'on pouvait raisonnablement attendre de la victime (<ref-ruling> consid. 4 p. 52; <ref-ruling> consid. 3.1 p. 170). L'infraction visée par l'art. 190 CP exige donc non seulement qu'une personne subisse l'acte sexuel alors qu'elle ne le veut pas, mais également qu'elle le subisse du fait d'une contrainte exercée par l'auteur. A défaut d'une telle contrainte, de l'intensité exigée par la loi et la jurisprudence, et même si la victime ne souhaitait pas entretenir une relation sexuelle, il n'y a pas viol (arrêt 6B_311/2011 du 19 juillet 2011 consid. 5.2).
Les pressions d'ordre psychique visent les cas où l'auteur provoque chez la victime des effets d'ordre psychique, tels que la surprise, la frayeur ou le sentiment d'une situation sans espoir, propres à la faire céder (<ref-ruling> consid. 3a/bb p. 111; <ref-ruling> consid. 2b p. 100). En cas de pressions d'ordre psychique, il n'est toutefois pas nécessaire que la victime ait été mise hors d'état de résister. La pression exercée doit néanmoins revêtir une intensité particulière, comparable à celle d'un acte de violence ou d'une menace (<ref-ruling> consid. 6.2 p. 55). Au vu des circonstances du cas et de la situation personnelle de la victime, on ne doit pas pouvoir attendre d'elle de résistance, ni compter sur une telle résistance, de sorte que l'auteur peut parvenir à son but sans avoir à utiliser de violence ou de menace (ATF <ref-ruling> consid. 3.1 p. 170 s. et les références citées). Constituent ainsi une pression psychique suffisante des comportements laissant craindre des actes de violence à l'encontre de la victime ou de tiers, notamment des menaces de violence contre des proches, ou, dans des relations de couple, des situations d'intimidation, de tyrannie permanente ou de perpétuelle psycho-terreur (ATF <ref-ruling> consid. 3.1 p. 171). Peuvent éventuellement également entrer en ligne une situation d'infériorité physique et de dépendance sociale et émotionnelle ou un harcèlement continu (<ref-ruling> consid. 3b p. 129 s. et les références citées).
Pour déterminer si l'on se trouve en présence d'une contrainte sexuelle, il faut procéder à une appréciation globale des circonstances concrètes déterminantes. Une appréciation individualisée est nécessaire, laquelle doit reposer sur des éléments suffisamment typiques. La mesure de l'influence qui doit avoir été exercée sur la victime pour qu'il y ait pression d'ordre psychique n'est pas aisément déterminable, de sorte qu'il y a lieu de se montrer prudent dans l'application des dispositions réprimant le viol (cf. <ref-ruling> consid. 2b p. 99). Des adultes en possession de leurs facultés mentales doivent être en mesure d'opposer une résistance plus forte que des enfants (ATF <ref-ruling> consid. 3.1 p. 171).
3.2 Dans la mesure où les critiques du recourant ne se fondent pas sur l'état de fait tel qu'il a été retenu, sans arbitraire, par la cour cantonale (cf. supra consid. 2 ), elles sont irrecevables.
La cour cantonale a retenu que le recourant avait adopté un comportement agressif, toujours plus insistant et exigeant. Il avait en outre tenu des propos au sujet de son passé de prisonnier et de ses problèmes psychiatriques qui étaient de nature à effrayer l'intimée et à la soumettre à sa volonté. Ces éléments avaient eu lieu avant le premier rapport sexuel et avaient été répétés avant le second. Le recourant avait exercé des pressions d'ordre psychique sur l'intimée. De façon compréhensible dans de telles circonstances, celle-ci n'avait ainsi pas été en mesure de s'opposer aux actes sexuels qu'il lui avait fait subir contre son gré. Le recourant ne pouvait ignorer que son attitude et ses propos étaient de nature à effrayer l'intimée, plutôt qu'à la séduire, et que les relations sexuelles ainsi obtenues étaient contraintes. Ce raisonnement ne prête pas le flanc à la critique et le recourant ne le conteste pas. Comme déjà démontré (cf. supra consid. 2.6), le fait supposé qu'un client se soit présenté à la porte du salon entre les deux rapports et que l'intimée lui ait ouvert n'est pas de nature à influencer cette analyse. Par conséquent, c'est à bon droit que la cour cantonale a retenu que le recourant s'était rendu coupable de deux viols. Mal fondé, le grief du recourant est rejeté dans la mesure où il est recevable.
4. Le recourant conclut à la fixation d'une peine pécuniaire de 20 jours-amende à 50 fr. avec sursis uniquement en relation avec sa conclusion tendant à son acquittement de l'infraction de viol. Son recours sur ce point est rejeté dans la mesure où il est recevable. Il ne soutient par ailleurs pas que l'autorité cantonale aurait excédé ou abusé de son pouvoir d'appréciation en arrêtant la quotité de la peine. Il ne formule dès lors aucun grief recevable tiré d'une violation de l'art. 47 CP.
5. Le recours doit être rejeté dans la mesure où il est recevable. Vu son sort, la demande d'indemnité du recourant fondée sur les art. 429 et 436 al. 1 CPP est infondée. Le recours était d'emblée dénué de chances de succès. L'assistance judiciaire doit être refusée (art. 64 al. 1 LTF). Le recourant, qui succombe, supporte les frais judiciaires qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens au Ministère public (art. 68 al. 3 LTF), ni à l'intimée qui n'a pas été invitée à procéder (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1600 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, Cour d'appel pénal.
Lausanne, le 3 avril 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet