Faits:
A. Par arrêt du 7 septembre 2009, la Cour criminelle du Tribunal cantonal jurassien a déclaré X._ coupable de contraintes sexuelles, actes d'ordre sexuel avec des enfants et viol. Elle l'a condamné à une peine privative de liberté de 5 ans, sous déduction de la détention avant jugement et à payer à la plaignante, A.Y._, 30'000 fr. à titre d'indemnité de tort moral et 16'570 fr. 40 pour les frais de défense. Elle a également ordonné au titre de mesure le suivi sans délai par X._ d'un traitement ambulatoire sous la forme d'une aide psychothérapeutique, cognitivo-comportementale ou d'une sexothérapie au sens du chiffre 5 de l'expertise psychiatrique du Dr Z._ du 25 septembre 2008.
Cette condamnation repose, en bref, sur les éléments suivants.
A.a X._ et B.Y._ ont fait connaissance en août 2007, via internet. Le premier a rapidement rencontré les enfants de son amie et s'est progressivement installé chez elle.
A.b De novembre 2007 au 21 avril 2008, X._ a fait subir, à de multiples reprises, des actes d'ordre sexuel à la fille de B.Y._, A.Y._, née le 8 juillet 1993. Il l'a caressée sur les seins et le sexe. Il lui a pris la main pour qu'elle le masturbe. Il s'est masturbé devant elle, a éjaculé sur elle, notamment sur les seins. Il a introduit ses doigts dans l'anus et le sexe de la jeune fille. Il lui a léché les parties intimes. Il lui a imposé une fellation et a éjaculé dans sa bouche. Il a eu une relation sexuelle complète avec elle, sans éjaculer, et l'a sodomisée à trois reprises, dont une fois avec éjaculation.
B. X._ a déposé un recours en matière pénale au Tribunal fédéral. Il a conclu, principalement, à la cassation de l'arrêt entrepris, à son acquittement des chefs d'accusation de contrainte sexuelle et de viol, au prononcé d'une peine très nettement inférieure aux 5 ans prononcés par l'autorité inférieure au regard notamment de sa responsabilité restreinte et des circonstances atténuantes. A titre préalable, il a également demandé sa mise en liberté provisoire et requit l'effet suspensif ainsi que l'assistance judiciaire.
Par ordonnance du 6 novembre 2009, le Président de l'autorité de céans a déclaré irrecevable la requête de mise en liberté et sans objet celle d'effet suspensif.

Considérant en droit:
1. Le recourant invoque une violation des droits de la défense au sens des art. 6 CEDH, 29 Cst. et 110 ss CPP/JU. Il critique tout d'abord l'absence de son mandataire aux audiences fixées par la juge d'instruction et le rejet par ce magistrat de sa requête d'audition de la plaignante. Il se plaint ensuite de la clôture de l'instruction, estimant que l'administration de preuves élémentaires aurait encore pu amener à retenir des éléments à décharge. Il reproche enfin à la Cour criminelle de ne pas lui avoir transmis la cassette vidéo de l'interrogatoire filmé de la victime et ne pas avoir pu visionner ce film lors de l'audience de jugement.
Il ne ressort pas de l'arrêt attaqué que ces griefs auraient été soulevés devant l'autorité précédente. Du moins cette dernière ne les a-t-elle pas examinés, sans que le recourant ne s'en plaigne, ni ne prétende et moins encore ne démontre qu'il n'aurait pas pu les invoquer en vertu du droit cantonal de procédure. Les moyens sont donc nouveaux et, partant irrecevables, faute d'épuisement des instances cantonales (cf. <ref-law>).
2. Invoquant l'arbitraire et la violation du principe « in dubio pro reo », le recourant relève diverses discordances contenues dans les expertises et rapports figurant au dossier.
Dans son argumentation, l'intéressé se contente de relever des soit disant contradictions et revirements d'avis. Il ne discute toutefois pas de la manière dont ces divers éléments auraient éventuellement été appréciés par la Cour criminelle; il ne conteste pas davantage les diverses preuves retenues par l'autorité cantonale pour fonder sa culpabilité. Sa critique est irrecevable, car insuffisamment motivée au regard de l'<ref-law>.
3. Invoquant l'arbitraire et une violation des art. 189 et 190 CP, le recourant nie la réalisation des infractions de viol et contrainte sexuelle. Il conteste avoir exercé la moindre pression psychologique sur la victime. Il relève en particulier que celle-ci était amoureuse, qu'elle a découvert sa sexualité avec lui de manière totalement consentante, qu'elle a d'ailleurs toujours nié avoir été forcée de faire quoi que ce soit contre son gré et qu'elle n'était plus une enfant au moment des faits, mais une adolescente très mûre et en avance physiquement.
3.1 La contrainte sexuelle et le viol sont des délits de violence, qui supposent en règle générale une agression physique. En introduisant la notion de "pressions psychiques", le législateur a cependant aussi voulu viser les cas où la victime se trouve dans une situation sans espoir, sans pour autant que l'auteur ait recouru à la force physique ou à la violence. Ainsi, l'infériorité cognitive et la dépendance émotionnelle et sociale peuvent - en particulier chez les enfants et les adolescents - induire une pression psychique extraordinaire et, partant, une soumission comparable à la contrainte physique, les rendant incapables de s'opposer à des atteintes sexuelles. La jurisprudence parle de "violence structurelle", pour désigner cette forme de contrainte d'ordre psychique commise par l'instrumentalisation de liens sociaux. Pour que l'infraction soit réalisée, il faut cependant que la situation soit telle qu'on ne saurait attendre de l'enfant victime qu'il oppose une résistance; sa soumission doit, en d'autres termes, être compréhensible. L'exploitation de rapports généraux de dépendance ou d'amitié ou même la subordination comme telle de l'enfant à l'adulte ne suffisent en règle générale pas pour admettre une pression psychologique au sens des art. 189 al. 1 ou 190 al. 1 CP (<ref-ruling> consid. 2.2 p. 109).
3.2 Certes, selon les constatations cantonales, le recourant n'a jamais usé de violence verbale ou physique à l'encontre de A.Y._ aux fins de lui faire subir l'acte sexuel ou les autres actes d'ordre sexuel. La victime a même précisé que, parfois, il n'insistait pas lorsqu'elle refusait de faire certains actes.
Toutefois, d'après les faits retenus, à plusieurs reprises et dès le premier acte, l'accusé a fait promettre à la jeune fille de ne rien dire, en précisant qu'il pouvait aller en prison, que c'était grave ou encore que cela ne se faisait pas. La plaignante a en outre précisé qu'elle se laissait faire, car elle avait peur qu'en refusant quelqu'un entende ce qui se passait et qu'elle doive alors raconter ce qu'elle subissait à sa mère alors que cette dernière était heureuse avec le recourant.
Par ailleurs, au moment des faits, A.Y._ n'avait qu'un peu plus de 14 ans et présentait, conformément à l'appréciation de la doctoresse C._, une certaine fragilité et vulnérabilité en raison de la séparation complexe de ses parents. Ces circonstances étaient de nature à la rendre particulièrement vulnérable et inapte à une défense efficace. De plus, le recourant détenait sur la jeune fille non seulement une évidente supériorité physique, mais également une position d'autorité naturelle comme étant le compagnon de sa mère. Il bénéficiait également de l'attachement de la plaignante, situation qu'il accentuait en lui disant parfois qu'il l'aimait, lors de la commission de ses actes.
Lors du premier passage à l'acte, le recourant a pris la main de la jeune fille en l'agrippant pour lui faire faire le geste de masturbation. A.Y._ a indiqué qu'elle ne voulait pas et qu'il l'avait un peu forcée. A cette occasion, il lui a fait promettre de ne rien répéter. Elle a également exprimé un mouvement de recul lorsque le prévenu a éjaculé.
3.3 Dans l'essentiel de son argumentation, le recourant nie avoir exercé la moindre contrainte à l'encontre de la plaignante, dès lors qu'ils étaient tous deux complices et consentants. Ce faisant, il se contente d'exposer sa propre version des faits, sans toutefois démontrer en quoi l'appréciation précitée serait non seulement discutable ou critiquable, mais manifestement insoutenable. Affirmer simplement que la victime était amoureuse, mûre et consentante ne suffit pas à faire admettre l'arbitraire allégué.
Pour le reste, la Cour criminelle n'a pas ignoré que, selon les déclarations de la victime elle-même, le recourant n'avait jamais usé de violence verbale ou physique à son encontre et que, parfois, il n'insistait pas lorsqu'elle refusait de faire certains actes. Enfin, contrairement aux déclarations du recourant, il ne résulte pas de l'audition de la plaignante lors de l'audience de jugement, que celle-ci ne se serait pas souvenue si le recourant l'avait menacée en lui disant qu'il pouvait aller en prison. Au contraire, selon le jugement entrepris, cette dernière a expliqué que l'intéressé lui disait de ne pas faire de bruit pour que personne ne vienne, que cela devait rester entre eux, qu'il lui avait dit, à deux ou trois reprises, qu'il pouvait aller en prison, qu'elle ne criait pas car elle ne voulait pas que sa mère soit au courant et qu'elle avait peur que cette dernière prenne parti pour lui plutôt que pour elle (cf. arrêt du 7 septembre 2009 p. 36). Le grief d'arbitraire est par conséquent infondé.
3.4 Au regard du déroulement du premier acte d'ordre sexuel commis à l'encontre de la victime tel qu'exposé ci-dessus (cf. supra consid. 3.2), du contexte toujours identique lors des actes suivants, des injonctions et déclarations du recourant, de l'âge de la jeune fille, de sa fragilité suite à la séparation de ses parents et enfin du conflit de loyauté dans lequel cette dernière se trouvait, la juridiction précédente n'a pas violé le droit fédéral en retenant que le recourant avait usé de contrainte sous la forme de pressions psychiques. Mal fondé, le grief de violation des art. 189 et 190 CP est par conséquent rejeté.
4. Invoquant une violation de l'<ref-law>, le recourant reproche aux premiers juges de ne pas avoir tenu compte que sa responsabilité pénale était restreinte. Il se prévaut en particulier de son niveau intellectuel très en dessous de la moyenne et d'un trouble dans sa santé mentale.
4.1 Aux termes de l'<ref-law>, l'auteur n'est pas punissable si, au moment d'agir, il ne possédait pas la faculté d'apprécier le caractère illicite de son acte ou de se déterminer d'après cette appréciation (al. 1). Le juge atténue la peine si, au moment d'agir, l'auteur ne possédait que partiellement la faculté d'apprécier le caractère illicite de son acte ou de se déterminer d'après cette appréciation (al. 2).
4.2 Le recourant a été soumis à une expertise psychiatrique dont le contenu est exposé au consid. C.4 p. 26 ss de l'arrêt entrepris. Il en résulte, en substance, que l'intéressé présente un trouble psychique et sexuel et que son niveau intellectuel est limité. L'expert a admis que, durant la période de novembre 2007 à avril 2008, le recourant était pleinement capable d'apprécier le caractère illicite de ses actes, ainsi que de se déterminer d'après cette appréciation, hormis lors des passages à l'acte. Le psychiatre a toutefois précisé que, dans la mesure où il y avait eu une répétition des actes, l'accusé était capable de trouver les moyens d'éviter la succession de ces passages à l'acte. Le fait que l'expertisé n'ait rien entrepris, après le premier, éventuellement après le deuxième passage à l'acte, pour éviter une telle répétition n'était pas explicable par ses troubles. Le fait qu'il ait au contraire arrêté sa thérapie après le début des passages à l'acte et qu'il ne l'ait pas reprise par la suite pour chercher de l'aide ne pouvait être mis sur le compte de ses troubles et n'apparaissait pas excusable. Le médecin a relevé que l'obscurcissement de la conscience s'arrêtait sitôt le passage à l'acte consommé et qu'après la crise, la personne était donc parfaitement lucide et pouvait prendre des mesures pour tenter d'éviter de récidiver. Il a ajouté que le niveau intellectuel limité de l'intéressé ainsi que ses traits de personnalité avaient certes pu jouer un certain rôle dans le fait de ne rien entreprendre, précisant toutefois que l'intéressé n'en était pas à sa première expérience identique. L'expert a donc conclu que, durant la période des passages à l'acte, la présence des troubles psychiques et sexuels ne suffisait pas à diminuer la capacité du recourant à se déterminer d'après son appréciation quant au caractère illicite de ses actes.
Au regard de ces éléments et quand bien même le recourant souffre d'un trouble psychique et possède un niveau intellectuel en dessous de la moyenne, la Cour criminelle pouvait, sans violation du droit fédéral, conclure que l'expertisé possédait, lors des faits, une pleine responsabilité pénale, ce qui correspond à une interprétation correcte de l'expertise.
5. Se plaignant d'une violation de l'art. 48 let. d CP, le recourant fait grief à la Cour criminelle de ne pas avoir admis le repentir sincère.
5.1 Selon la disposition précitée, le juge atténue la peine si l'auteur a manifesté par des actes un repentir sincère, notamment s'il a réparé le dommage autant qu'on pouvait l'attendre de lui.
Le repentir sincère n'est réalisé que si l'auteur a adopté un comportement particulier, désintéressé et méritoire, qui constitue la preuve concrète d'un repentir sincère. L'auteur doit avoir agi de son propre mouvement dans un esprit de repentir, dont il doit avoir fait la preuve en tentant, au prix de sacrifices, de réparer le tort qu'il a causé (<ref-ruling> consid. 1). Le seul fait qu'un délinquant ait passé des aveux ou manifesté des remords ne suffit pas. Il n'est en effet pas rare que, confronté à des moyens de preuve ou constatant qu'il ne pourra échapper à une sanction, un accusé choisisse de dire la vérité ou d'exprimer des regrets. Un tel comportement n'est pas particulièrement méritoire (<ref-ruling> consid. 1).
5.2 Certes, le recourant a avoué les faits essentiels lors de son audition par la police et exprimé des regrets tout au long de la procédure. Reste que, d'une part, il ne s'est pas expliqué en détails sur les préventions retenues à son encontre, prétextant ne plus se souvenir exactement des faits. D'autre part, il a tenté de minimiser sa responsabilité en se prévalant du comportement « actif » de la plaignante, alors que celle-ci avait clairement exprimé ses réticences et que le recourant y avait passé outre, par convenance personnelle. En outre, selon l'expert, le recourant s'est montré assez, voire très centré sur lui, avec une claire tendance à se voir victime, même s'il n'était pas dénué de certaines considérations pour sa victime. Il s'est beaucoup inquiété pour son avenir, mais ne s'est jamais interrogé sur les conséquences de ses agissements pour A.Y._ et sa famille.
Au regard de ces éléments, la Cour criminelle n'a pas violé le droit fédéral en refusant de tenir compte du comportement de l'intéressé suite à son interpellation comme circonstance atténuante dans le cadre de la fixation de la peine. La critique est donc vaine.
6. Le recourant soutient qu'il convient d'adapter la règle légale qui fixe l'âge de la majorité sexuelle à 16 ans et de la ramener à 14 ans.
Le Tribunal fédéral n'a pas à modifier les conditions d'application des dispositions pénales. Au contraire, la Constitution lui prescrit d'appliquer les lois fédérales (cf. art. 190 Cst.) et c'est aux Chambres fédérales qu'il appartient, le cas échéant, d'intervenir en leur qualité de législateur pour modifier les textes légaux (cf. art. 164 Cst.).
7. Le recourant se plaint de la peine infligée. Il estime que celle-ci est disproportionnée par rapport à d'autres affaires (infra consid. 7.1) et exagérément sévère (infra consid. 7.2).
7.1 Compte tenu des nombreux paramètres qui interviennent dans la fixation de le peine, une comparaison avec des affaires concernant d'autres accusés et des faits différents est d'emblée délicate. Il ne suffirait d'ailleurs pas que le recourant puisse citer un ou deux cas où une peine particulièrement clémente a été fixée pour prétendre à un droit à l'égalité de traitement (<ref-ruling> consid. 3a p. 144).
Les affaires invoquées par le recourant - sans d'ailleurs aucune référence à des arrêts précis - ne permettent aucune déduction significative du point de vue de la peine. Elles concernent d'autres accusés et des infractions commises dans des circonstances différentes. La comparaison voulue par l'intéressé apparaît stérile et ne saurait donc être menée.
7.2 L'<ref-law> prévoit que la peine doit être fixée d'après la culpabilité de l'auteur, en tenant compte des antécédents et de la situation personnelle de ce dernier ainsi que de l'effet de la peine sur son avenir. L'alinéa 2 de cette disposition énumère, de manière non limitative, une série de critères à prendre en considération pour déterminer la culpabilité de l'auteur. Ces critères correspondent à ceux qui devaient être pris en compte selon la jurisprudence relative à l'art. 63 aCP, à laquelle on peut se référer (<ref-ruling> consid. 2.1 p. 19). Pour fixer la peine, le juge dispose d'un large pouvoir d'appréciation. Il y a toutefois violation du droit fédéral lorsque le juge sort du cadre légal, lorsqu'il fonde sa décision sur des critères étrangers à l'<ref-law>, lorsqu'il omet de prendre en considération des éléments prévus par cette disposition ou lorsqu'il abuse de son pouvoir d'appréciation en fixant une peine exagérément sévère ou excessivement clémente (<ref-ruling> consid. 2.1 p. 19/20).
En l'espèce, la Cour criminelle a fixé la sanction dans le cadre légal et n'a pas omis, ni considéré à tort des éléments pertinents pour la fixation de la peine; en particulier, elle n'a pas ignoré la situation personnelle et familiale du recourant (cf. arrêt du 7 septembre 2009 consid. C.1 et C.3.4). Pour le reste, au vu de l'ensemble des éléments exposés au consid. 5.7 p. 56 à 59 de l'arrêt attaqué, la peine infligée au recourant n'apparaît pas procéder d'un excès ou d'un abus du large pouvoir d'appréciation dont disposaient les juges cantonaux. Le grief est donc infondé.
8. Le recourant estime exagéré le montant de 30'000 fr. alloué à la victime à titre d'indemnité pour tort moral.
8.1 Les décisions sur les prétentions civiles qui doivent être jugées en même temps que la cause pénale peuvent être attaquées par un recours en matière pénale (cf. <ref-law>). Le recourant doit toutefois prendre des conclusions concrètes. Il ne peut se borner à demander simplement l'annulation de la décision attaquée. A défaut de conclusions chiffrées, le recours est irrecevable, à moins que sa motivation, en relation avec la décision attaquée, permette de discerner de manière certaine quels sont les montants contestés (<ref-ruling> consid. 6a p. 70).
8.2 En l'espèce, le recours ne satisfait pas à ces exigences. En effet, le recourant se contente d'affirmer que le montant alloué est trop élevé. Il ne prend dès lors pas de conclusions chiffrées et l'absence de toute motivation ne permet en aucune manière de discerner dans quelle mesure le montant de l'indemnité litigieuse, dont l'octroi n'est pas contesté dans son principe, devrait être réduit. Le grief est par conséquent irrecevable.
9. Le recourant explique avoir déjà été victime d'une erreur judiciaire et ne pas accepter que cela se reproduise dans la présente affaire. Ces arguments sont toutefois sans pertinence sur le raisonnement suivi dans l'arrêt attaqué.
10. Le recours est rejeté dans la mesure où il est recevable. Comme ses conclusions étaient dénuées de chance de succès, le recourant doit être débouté de sa demande d'assistance judiciaire (<ref-law> a contrario) et supporter les frais de justice (<ref-law>). Ceux-ci seront réduits pour tenir compte de la situation financière de l'intéressé.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du Canton du Jura, Cour criminelle.
Lausanne, le 13 janvier 2010
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant: La Greffière:
Schneider Bendani