Faits:
A. X._ a noué une relation avec B.Y._, soeur de A.Y._ vers la fin de l'année 2002. Celui-ci se rendait régulièrement au domicile de la famille Y._ où il était accueilli et accepté par tous. Cette relation a pris fin dans le courant de l'année 2004.
A.a Le 3 octobre 2003, X._ s'est rendu dans la chambre de A.Y._, née le 7 décembre 1988, l'a caressée, lui a pris la main pour la mettre sur son sexe, faisant un mouvement de bas en haut. Il a ensuite mis un préservatif et l'a pénétrée.
A.b Le 18 octobre 2003, après les vacances d'automne, alors qu'elle se trouvait seule avec X._ et que son père était présent dans la maison, le prénommé a demandé à A.Y._ de lui faire une fellation, ce qu'elle a fait jusqu'à éjaculation. Dans une autre pièce, il lui a demandé une nouvelle fellation, qui a été interrompue du fait de l'arrivée de B.Y._ et de sa mère.
A.c X._ et A.Y._ ont eu deux autres relations complètes dans la cuisine du domicile familial. Il l'a également sodomisée à une reprise.
Le dernier acte a eu lieu le 9 janvier 2004. A.Y._ a expliqué à X._ qu'elle avait peur d'être enceinte. Ce dernier s'est rendu dans une pharmacie pour acheter un test de grossesse qui s'est révélé négatif. Il a voulu entretenir une nouvelle relation sexuelle et l'a pénétrée.
B. Par arrêt du 26 mai 2010, la Cour criminelle du Tribunal cantonal jurassien a libéré X._ des préventions de contrainte sexuelle et viol, infractions prétendument commises entre le 3 octobre 2003 et janvier 2004 au préjudice de A.Y._, de contrainte, contrainte sexuelle et viol, infractions prétendument commises entre 2003 et 2004 au préjudice de B.Y._, de contrainte sexuelle et viol, infractions prétendument commises entre 2003 et 2004 au préjudice de C._, d'escroquerie et induction de la justice en erreur, infractions prétendument commises en 2004 au préjudice de D._. En revanche, elle a déclaré X._ coupable d'actes d'ordre sexuel avec des enfants, infractions commises à réitérées reprises à I._ au préjudice de A.Y._, entre le 3 octobre 2003 et janvier 2004. Elle l'a condamné à une peine privative de liberté de 3 ans, dont 18 mois fermes, le solde de 18 mois étant suspendu par l'octroi du sursis avec un délai d'épreuve de 2 ans ainsi qu'au paiement à la plaignante d'une somme de 20'000 fr. à titre d'indemnité pour tort moral.
C. X._ dépose un recours en matière pénale au Tribunal fédéral. Il invoque l'arbitraire dans l'appréciation des preuves, une violation du principe "in dubio pro reo" ainsi que des art. 43, 47, 187 CP, 49 CO et 43 LAVI. Il conclut, principalement, à l'annulation de l'arrêt entrepris et à son acquittement et, subsidiairement, à ce qu'il soit condamné à une peine privative de liberté compatible avec le sursis total.

Considérant en droit:
1. Le recourant se plaint, sur plusieurs points, d'appréciation arbitraire des preuves et de violation de la présomption d'innocence.
1.1 Tel qu'il est soulevé, ce dernier grief revient à invoquer une violation du principe "in dubio pro reo" comme règle de l'appréciation des preuves, donc, en définitive, à se plaindre de ce que cette appréciation serait arbitraire (<ref-ruling> consid. 2 p. 40 ss).
Cette dernière notion n'est pas synonyme de discutable, ni même de critiquable. Pour être qualifiée d'arbitraire, une appréciation doit se révéler manifestement insoutenable, et cela non seulement dans sa motivation mais dans son résultat (<ref-ruling> consid. 5.4 p. 148; <ref-ruling> consid. 3.1 p. 153). Le Tribunal fédéral, qui n'administre pas lui-même les preuves, ne saurait en effet en revoir librement l'appréciation et substituer la sienne, supposée différente, à celle du juge du fait. Il ne peut s'écarter de la solution retenue que s'il est amené à constater qu'elle s'avère absolument inadmissible. Il ne peut au demeurant entrer en matière sur l'arbitraire allégué que si ce dernier est démontré dans le recours conformément aux exigences de motivation de l'<ref-law> (cf. <ref-ruling> consid. 1.4 p. 287).
1.2 Le recourant reproche à l'autorité cantonale d'avoir fondé sa culpabilité sur le témoignage de E._, alors que celle-ci n'était pas présente au moment des faits et s'est contentée de répéter en justice les propos rapportés par la victime peu avant le dépôt de la plainte. Il relève également les divergences entre les déclarations de l'intimée et celles du témoin précité.
Selon la Cour criminelle, l'intimée ne s'est confiée qu'à E._, conseillère à l'école F._. Cette dernière a orienté la victime vers un centre LAVI et l'a accompagnée dans ses démarches de dépôt de plainte. L'intimée n'a pas relaté les détails des actes à sa conseillère, mais lui a parlé de relations complètes, de fellations et de sodomie. Elle lui a précisé que les faits s'étaient produits à cinq reprises au domicile familial alors qu'elle avait 14-15 ans et qu'à une reprise son père était présent. E._ n'a jamais mis en doute les révélations de A.Y._. L'autorité cantonale a considéré que les déclarations de E._ appuyaient la version et les accusations portées par la victime, qu'elles étaient en effet concordantes s'agissant du genre et du nombre d'actes sexuels ainsi qu'en ce qui concernait la présence du père lors d'un épisode. Elle a relevé qu'il n'existait aucun élément susceptible de mettre en doute les déclarations de la conseillère qui rapportait, certes sans détails sur le déroulement des actes, les révélations que lui avait faites la plaignante.
L'argumentation du recourant se réduit à une rediscussion purement appellatoire de l'appréciation du témoignage de E._ sur lequel s'est notamment fondée l'autorité cantonale pour retenir les faits contestés. Le recourant se borne en effet à opposer sa propre appréciation de ce témoignage, sans démontrer, conformément aux exigences de l'<ref-law>, qu'il était arbitraire, c'est-à-dire manifestement insoutenable, d'en déduire qu'il venait appuyer les accusations de A.Y._, qu'il concordait, sur les points essentiels, avec la version de la victime et enfin qu'il n'existait aucun élément susceptible de mettre en doute les déclarations dudit témoin. Le recours est par conséquent irrecevable, faute de motivation suffisante.
1.3 Le recourant soutient que les déclarations de la victime ne sont pas crédibles, compte tenu notamment des nombreuses contradictions et incohérences qu'elles contiennent.
S'agissant des contradictions relevées par le recourant dans les déclarations de la plaignante, la Cour criminelle, rejoignant l'avis de l'expert à ce sujet, a retenu qu'il n'était pas surprenant qu'une personne entendue à maintes reprises au cours d'une enquête ne fasse pas systématiquement les mêmes déclarations, mais corrige parfois ultérieurement certaines d'entre-elles, ou apporte par la suite des précisions qu'elle n'avait pas fournies d'emblée. L'autorité cantonale a considéré qu'il n'était pas manifestement insoutenable de tenir les déclarations de la victime pour crédibles, celles-ci étant cohérentes sur les points importants et déterminants.
En l'espèce, le recourant se contente de relever certaines imprécisions ou contradictions dans les déclarations successives de la plaignante. Toutefois, il ne démontre pas en quoi l'appréciation précitée serait arbitraire. A juste titre d'ailleurs, il ne conteste pas que des déclarations successives peuvent parfois être corrigées ou précisées. Sa critique est donc insuffisamment motivée et par conséquent irrecevable.
1.4 La Cour cantonale a admis les faits tels que décrits ci-dessus au consid. A, en se basant sur les éléments suivants. D'une part, les premières déclarations de la victime à la police sont précises, complètes et spontanées. D'autre part, les déclarations relatives aux nombre et genre d'actes sont étayées par le témoignage de E._. De plus, les déclarations de la plaignante selon lesquelles elle avait tout consigné dans son journal intime et arraché les feuilles du journal qui concernaient le recourant sont corroborées par le témoignage de sa soeur, de sa mère et de l'accusé. En outre, l'experte considère que les déclarations de la jeune femme correspondent à un vécu réel. Enfin, les dénégations de l'accusé ne permettent pas de mettre en doute les conclusions de l'experte et les déclarations concordantes de la plaignante et du témoin E._.
En réalité, l'argumentation du recourant se réduit à nier les actes d'ordre sexuel commis à l'encontre de A.Y._ en opposant sa propre appréciation des preuves à celle de l'autorité. Il se prévaut ainsi notamment de son emploi du temps, de sa personnalité, du fait qu'il est apprécié des femmes et qu'il a toujours contesté les infractions qui lui étaient reprochées. Il émet également diverses hypothèses, alléguant ainsi que s'il s'était passé quelque chose le 3 octobre 2003, A.Y._ en aurait immédiatement informé sa soeur ou ses parents et que la famille Y._ devait encore être en vacances lors des faits dénoncés en date du 18 octobre 2003. Il se prévaut encore des problèmes psychiques de la victime au moment des faits. Cette motivation, purement appellatoire, ne suffit pas à faire admettre l'arbitraire allégué et ne satisfait pas aux exigences posées par l'<ref-law>, de sorte qu'il n'y a pas lieu d'entrer en matière. Par ailleurs, sur la base des éléments retenus ci-dessus, la Cour criminelle pouvait, sans arbitraire, retenir la réalité des faits dénoncés.
2. Le recourant reproche aux juges cantonaux de ne pas avoir écarté l'expertise de crédibilité de la plaignante, alors que ce rapport ne répond pas aux exigences méthodologiques posées par la jurisprudence.
2.1 Une expertise de crédibilité doit permettre au juge d'apprécier la valeur des déclarations de l'enfant, en s'assurant que ce dernier n'est pas suggestible, que son comportement trouve son origine dans un abus sexuel et n'a pas une autre cause, qu'il n'a pas subi l'influence de l'un de ses parents et qu'il ne relève pas de la pure fantaisie de l'enfant. Pour qu'une telle expertise ait une valeur probante, elle doit répondre aux standards professionnels reconnus par la doctrine et la jurisprudence récente (<ref-ruling> consid. 5 p. 58; <ref-ruling> consid. 2 p. 85). Si l'expert judiciaire est en principe libre d'utiliser les méthodes qui lui paraissent judicieuses, sa méthode doit toutefois être fondée, suivre les critères scientifiques établis, séparer soigneusement les constatations de faits du diagnostic et exposer clairement et logiquement les conclusions. En cas de suspicion d'abus sexuel sur des enfants, il existe des critères spécifiques pour apprécier si leurs déclarations correspondent à la réalité. L'expert doit examiner si la personne interrogée, compte tenu des circonstances, de ses capacités intellectuelles et des motifs du dévoilement, était capable de faire une telle déposition, même sans un véritable contexte expérientiel. Dans ce cadre, il analyse le contenu et la genèse des déclarations et du comportement, les caractéristiques du témoin, de son vécu et de son histoire personnelle, ainsi que divers éléments extérieurs. Lors de l'expertise de la validité d'un témoignage, il faut toujours avoir à l'esprit que la déclaration peut ne pas être fondée sur la réalité (ATF <ref-ruling> consid. 2 p. 85 s.).
Concernant plus particulièrement l'appréciation du résultat d'une expertise, le juge n'est en principe pas lié par ce dernier. Mais s'il entend s'en écarter, il doit motiver sa décision et ne saurait, sans motifs déterminants, substituer son appréciation à celle de l'expert, sous peine de verser dans l'arbitraire. En d'autres termes, le juge qui ne suit pas les conclusions de l'expert n'enfreint pas l'art. 9 Cst. lorsque des circonstances bien établies viennent en ébranler sérieusement la crédibilité (<ref-ruling> consid. 4 p. 57 s.; <ref-ruling> consid. 2 p. 86). Tel est notamment le cas lorsque l'expertise contient des contradictions et qu'une détermination ultérieure de son auteur vient la contredire sur des points importants, ou lorsqu'elle se fonde sur des pièces et des témoignages dont le juge apprécie autrement la valeur probante ou la portée (<ref-ruling> consid. 3a in fine p. 130). Si, en revanche, les conclusions d'une expertise judiciaire apparaissent douteuses sur des points essentiels, celui-ci doit recueillir des preuves complémentaires pour tenter de dissiper ses doutes. A défaut, en se fondant sur une expertise non concluante, il pourrait commettre une appréciation arbitraire des preuves et violer l'art. 9 Cst. (<ref-ruling> consid. 1c p. 146). La nécessité d'une nouvelle expertise dépend ainsi d'une appréciation de celle versée au dossier et des autres éléments de preuves.
2.2 Dans son rapport du 30 mars 2009, l'experte analyse le contenu du témoignage de A.Y._ selon 19 critères de réalité. Dans son évaluation, elle relève que les déclarations de la jeune femme présentent un très grand nombre de critères de réalité. L'évaluation de la qualité de ses déclarations indique une valeur diagnostique très élevée qui permet de retenir l'hypothèse du vécu réel de ses dires. Sa manière de témoigner est différenciée et aboutit à un aperçu général cohérent et logique. Son témoignage se caractérise par une originalité, une intensité et une spécificité propres qui correspondent à une expérience vécue réellement. La qualité des descriptions de A.Y._ indique l'existence d'images internes d'un vécu réel de ses dires. L'analyse de la qualité du témoignage de la prénommée permet de retenir l'hypothèse de vécu réel de sa déclaration. L'étude du développement des déclarations de la jeune femme ne présente pas de contradiction dans les éléments de fond appuyant l'hypothèse du non-vécu. Il existe une similarité dans la description des différents actes présumés. Son témoignage ne se charge pas avec le temps. Il n'y a pas d'exagérations typiques d'une fausse allégation. Il n'y a pas de contradiction qui permette de rejeter l'hypothèse du vécu réel. Les variations dans les déclarations de l'intimée ne nuisent pas à la constance exigée et restent secondaires. Les différents propos de la jeune femme ne présentent pas d'inconstance qui justifie de retenir l'hypothèse nulle. La qualité de la déclaration de A.Y._ est hautement estimée; il n'est pas vraisemblable de fournir une telle qualité quand on se réfère à une histoire qui n'est pas basée sur un vécu réel.
Selon l'experte, il n'existe pas d'éléments permettant de retenir une fausse allégation motivée par vengeance, déception ou autre. On ne trouve aucun signe de contamination par suggestion de l'entourage. Au contraire, la famille pensait que tout s'arrangerait, suite à la rupture entre X._ et B.Y._. On ne note aucun signe d'une influence par la soeur de la victime. L'experte rejette les hypothèses suivantes, à savoir que les déclarations de A.Y._ puissent être basées sur un mensonge délibéré, suggérées par l'entourage ou basées sur une expérience vécue dans un autre contexte. Elle conclut que les déclarations de la jeune femme sont basées sur un vécu réel avec le recourant.
Dans un rapport complémentaire du 26 juin 2009, l'experte répond aux critiques du recourant. Elle précise que l'objet de l'évaluation de l'expertise est la crédibilité de la déclaration et non la crédibilité en général en tant que caractéristique personnelle, la personnalité et le caractère de l'expertisée n'étant pas l'objet de l'évaluation d'une déclaration donnée. Elle confirme que les déclarations de A.Y._ présentent des qualités hautement évaluées permettant de retenir le vécu réel des faits allégués. S'agissant des contradictions soulevées par le recourant, elle indique qu'on ne peut pas s'attendre à ce qu'une victime raconte à chaque fois qu'elle est sollicitée, ses souvenirs d'une manière complète. Elle estime que le témoignage de la jeune femme est cohérent et ne présente pas les contradictions que l'on rencontre dans les faux témoignages.
2.3 Le recourant relève tout d'abord que l'expertise est notamment fondée sur l'audition filmée du 16 mai 2007, laquelle n'existe pas. Il reproche également à l'experte d'avoir fait abstraction des déclarations de la victime à la police le 14 décembre 2007 et à la juge d'instruction le 21 novembre 2007 et de ne pas avoir relevé les contradictions entre ces deux versions des faits.
Ces griefs sont vains. En effet, d'une part, l'experte a notamment retranscrit, dans son rapport, de longs extraits de l'audition de A.Y._ à la police le 14 décembre 2006, à la juge d'instruction le 21 novembre 2007 ainsi que dans le cadre de l'exploration filmée du 4 février 2009. Elle n'a par conséquent nullement ignoré les premières déclarations de la victime sur lesquelles doit précisément porter l'expertise de crédibilité. D'autre part, la Cour criminelle a constaté que la mention, dans le rapport d'expertise, d'une audition filmée du 26 mai 2007 constituait une erreur manifeste, la seule audition filmée étant intervenue en date du 4 février 2009 dans le cadre de l'exploration faite par l'expert. Enfin, s'agissant des contradictions relevées par le recourant dans les déclarations de la plaignante, la Cour a retenu qu'il n'était pas surprenant qu'une personne entendue à maintes reprises au cours d'une enquête ne fasse pas systématiquement les mêmes déclarations, mais corrige parfois ultérieurement certaines d'entre-elles, ou apporte par la suite des précisions qu'elle n'avait pas fournies d'emblée. Selon l'autorité cantonale, il n'est pas manifestement insoutenable de tenir les déclarations de la victime pour crédibles, celles-ci étant cohérentes sur les points importants et déterminants. Le recourant ne démontre pas en quoi cette appréciation serait arbitraire. Son argumentation doit donc être rejeté dans la mesure de sa recevabilité.
2.4 Le recourant reproche à l'experte de ne pas avoir examiné les propos très durs tenus par l'intimée à son encontre ainsi que les conséquences de la relation sexuelle simultanée que A.Y._ a entretenue avec deux autres garçons durant cette même période.
Ces griefs tombent à faux. En effet, contrairement à ce que semble penser le recourant, l'experte a eu connaissance de toutes les déclarations de la plaignante, donc y compris des propos sévères que celle-ci a pu tenir à l'encontre de l'intéressé. Par ailleurs, elle a relevé que le fait d'avoir deux relations sexuelles consentantes (avec ses paires) en même temps et avec des jeunes du même âge ne nuisait pas à la crédibilité de la jeune femme en ce qui concernait son témoignage par rapport au recourant. Au contraire, le fait d'avouer ces relations montrait une attitude franche et honnête que l'on ne retrouvait pas dans les témoignages mensongers. En conclusion, l'experte a exclu l'hypothèse que A.Y._ ait voulu nuire au recourant.
2.5 Pour le reste, l'expertise de crédibilité doit être considérée comme ayant été menée conformément aux standards méthodologiques reconnus par le Tribunal fédéral. L'analyse fournie détaille avec suffisamment de prévision les critères de validité des déclarations en faveur ou en défaveur de la crédibilité de la plaignante. Les conclusions de l'experte sont claires et univoques, à savoir que les allégations sont crédibles. Dans ces conditions, c'est à juste titre que la Cour criminelle s'est fondée sur cette expertise pour asseoir sa conviction.
3. Invoquant une violation de l'<ref-law>, le recourant relève que la victime n'a jamais été auditionnée en présence d'un spécialiste.
3.1 L'<ref-law>, relatif à l'audition de l'enfant, prévoit que celui-ci ne doit en principe pas être soumis à plus de deux auditions sur l'ensemble de la procédure (al. 1). La première audition doit intervenir dès que possible (al. 2). Une seconde audition est organisée si, lors de la première, les parties n'ont pas pu exercer leurs droits, ou si cela est indispensable au bon déroulement de l'enquête ou à la sauvegarde de l'intérêt de l'enfant. Dans la mesure du possible, elle doit être menée par la personne qui a procédé à la première audition (al. 3). L'audition est conduite par un enquêteur formé à cet effet, en présence d'un spécialiste. Les parties exercent leurs droits par l'intermédiaire de la personne chargée de l'interrogatoire (al. 4). L'audition a lieu dans un endroit approprié. Elle fait l'objet d'un enregistrement vidéo. L'enquêteur et le spécialiste consignent leurs observations dans un rapport (al. 5). L'autorité peut exclure de la procédure la personne de confiance visée à l'art. 36, al. 1, lorsque cette personne pourrait influencer l'enfant de manière déterminante (al. 6).
3.2 En l'espèce, il importe peu que l'intimée n'ait pas été entendue, lors de sa première audition, en présence d'un spécialiste LAVI au sens de l'<ref-law>, dès lors qu'elle était majeure au moment où elle a dénoncé les faits et que la disposition précitée ne vise que l'audition des enfants. Le grief est donc vain.
4. Se plaignant d'une violation de l'<ref-law>, le recourant estime que la peine prononcée est exagérément sévère.
4.1 L'<ref-law> prévoit que la peine doit être fixée d'après la culpabilité de l'auteur, en tenant compte des antécédents et de la situation personnelle de ce dernier ainsi que de l'effet de la peine sur son avenir. L'alinéa 2 de cette disposition énumère, de manière non limitative, une série de critères à prendre en considération pour déterminer la culpabilité de l'auteur. Ces critères correspondent à ceux qui devaient être pris en compte selon la jurisprudence relative à l'art. 63 aCP, à laquelle on peut se référer (<ref-ruling> consid. 2.1 p. 19).
Pour fixer la peine, le juge dispose d'un large pouvoir d'appréciation. Il y a toutefois violation du droit fédéral lorsque le juge sort du cadre légal, lorsqu'il fonde sa décision sur des critères étrangers à l'<ref-law>, lorsqu'il omet de prendre en considération des éléments prévus par cette disposition ou lorsqu'il abuse de son pouvoir d'appréciation en fixant une peine exagérément sévère ou excessivement clémente (<ref-ruling> consid. 2.1 p. 19 s.).
4.2 Le recourant fait grief à la Cour criminelle de ne pas avoir tenu compte de sa situation personnelle et familiale.
Il est inévitable qu'une peine privative de liberté d'une certaine durée ait des répercussions sur les membres de la famille du condamné. Cette conséquence ne peut cependant conduire à une réduction de la peine qu'en cas de circonstances extraordinaires (arrêt 6B_708/2008 du 22 octobre 2008 consid. 3.2).
En l'espèce, on ne saurait reprocher à la Cour criminelle d'avoir ignoré la situation personnelle et familiale du recourant. Elle a en effet constaté que celui-ci était arrivé en Suisse en qualité de saisonnier, qu'il avait eu un enfant en 1996, qu'il était retourné en Espagne en 1998, qu'il était revenu en Suisse en 2000, son fils lui manquant. Elle a également retenu qu'il avait fait un apprentissage de décolleteur, qu'il avait été engagé chez H._ qui l'avait licencié en 2007 et qu'il avait eu un deuxième enfant. L'autorité cantonale a toutefois considéré que cette situation ne justifiait, en aucune façon, une réduction de la peine au titre de la prise en compte des effets de cette dernière sur l'avenir du condamné, compte tenu notamment de la gravité de la culpabilité de l'intéressé. Cette appréciation ne viole pas le droit fédéral. Mal fondé, le grief soulevé doit être rejeté.
4.3 Le recourant fait grief à la Cour criminelle d'avoir omis de prendre en considération le temps écoulé depuis l'infraction qui lui est reprochée.
4.3.1 Nonobstant une formulation différente, l'art. 48 let. e CP n'a subi aucune modification quant au fond par rapport à l'art. 64 al. 8 aCP (cf. Message du Conseil fédéral relatif à la modification des dispositions générales du code pénal et du code pénal militaire du 21 septembre 1998; FF 1999 1787 ss, 1868 in limine). Là encore, la jurisprudence correspondante garde donc sa valeur. L'<ref-law> se différencie toutefois de l'art. 64 aCP en cela que l'atténuation de la peine consécutive à la réalisation de l'une des circonstances atténuantes prévues est désormais obligatoire (FF 1999, 1868).
L'atténuation de la peine en raison du temps écoulé depuis l'infraction procède de la même idée que la prescription. L'effet guérisseur du temps écoulé, qui rend moindre la nécessité de punir, doit aussi pouvoir être pris en considération lorsque la prescription n'est pas encore acquise, si l'infraction est ancienne et si le délinquant s'est bien comporté dans l'intervalle. Cela suppose qu'un temps relativement long se soit écoulé depuis l'infraction. Cette condition est en tout cas réalisée lorsque les deux tiers du délai de prescription de l'action pénale sont écoulés. Le juge peut toutefois réduire ce délai pour tenir compte de la nature et de la gravité de l'infraction (<ref-ruling> consid. 6.2 p. 2 ss).
4.3.2 L'infraction retenue à la charge du recourant, soit celle réprimée par l'<ref-law>, est punissable d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire. Elle se prescrit donc par 15 ans (cf. <ref-law>). En l'occurrence, ce délai a commencé à courir au mois de janvier 2004 (cf. <ref-law>). Il a toutefois cessé de courir avec le prononcé du jugement de première instance (<ref-law>), qui a été rendu le 26 mai 2010. A cette date, plus de 6 ans s'étaient écoulés depuis l'infraction, soit un laps de temps bien inférieur aux deux tiers du délai de prescription de 15 ans. Dès lors, la condition d'un temps relativement long écoulé depuis l'infraction n'est pas réalisée et le grief doit être écarté.
4.4 Le recourant reproche aux juges cantonaux d'avoir considéré sa culpabilité comme grave. Il invoque en particulier l'attitude de l'intimée à son encontre.
En l'espèce, l'intéressé a réitéré son activité criminelle à plusieurs reprises durant plusieurs mois, soit d'octobre 2003 à janvier 2004 (cf. supra consid. A). Il a gravement trompé la confiance placée en lui par la plaignante, qui le considérait comme un grand frère. Les actes commis ont eu des conséquences pour cette dernière qui n'a pas osé dévoiler les faits et qui s'est renfermée. Elle a rencontré des difficultés dans ses relations avec les garçons et a eu des "flashs". Elle a précisé avoir fait des crises d'angoisse en lien avec les faits, mais également en relation avec la maladie de son père. Elle a été suivie par un psychologue. La responsabilité pénale du prévenu était entière et sa liberté de décision totale. Ses mobiles étaient exclusivement égoïstes, soit l'assouvissement de ses pulsions sexuelles. Il ne s'est pas expliqué sur les préventions retenues contre lui. Il s'est contenté de contester les faits et de tenter de jeter le discrédit sur les déclarations de sa victime. Il a démontré une absence totale de remords et de prise de conscience de la gravité des infractions commises. En sa faveur, son casier judiciaire est vierge. Le fait que la plaignante ne se soit pas confiée aux membres de sa famille, qu'elle ne se soit jamais opposée aux actes sexuels et qu'elle ait également entretenu des rapports sexuels avec deux autres garçons lors de la même période, ne change rien à la culpabilité du recourant. Au regard de l'ensemble de ces éléments, la peine infligée ne viole pas le droit fédéral.
5. Invoquant une violation de l'<ref-law>, le recourant conteste la durée de la peine ferme prononcée à son encontre. Il relève en particulier n'avoir jamais usé de contrainte et ne pas avoir de casier judiciaire. Il se réfère aussi à sa bonne réputation
5.1 Aux termes de l'<ref-law>, le juge peut suspendre partiellement l'exécution d'une peine pécuniaire, d'un travail d'intérêt général ou d'une peine privative de liberté d'un an au moins et de trois ans au plus afin de tenir compte de façon appropriée de la faute de l'auteur (al. 1). La partie à exécuter ne peut excéder la moitié de la peine (al. 2). En cas de sursis partiel à l'exécution d'une peine privative de liberté, la partie suspendue, de même que la partie à exécuter, doivent être de six mois au moins. Les règles d'octroi de la libération conditionnelle ne lui sont pas applicables (al. 3).
Pour les peines privatives de liberté d'une durée de deux à trois ans, le caractère obligatoirement partiel du sursis est simplement une restriction que le législateur a apportée, compte tenu de la culpabilité de l'auteur, au sursis intégral que le Conseil fédéral voulait permettre pour les peines privatives de liberté jusqu'à trois ans. Si le pronostic n'est pas défavorable, au besoin compte tenu de l'effet d'avertissement produit par l'exécution d'une partie de la peine, et si aucun empêchement prévu à l'<ref-law> ne s'y oppose, le sursis partiel doit être accordé. D'après l'<ref-law>, la partie ferme de la peine doit être comprise entre six mois et la moitié de la peine, inclusivement. S'il prononce une peine de trois ans de privation de liberté, le juge peut ainsi assortir du sursis une partie de la peine allant de dix-huit à trente mois. Pour fixer dans ce cadre la durée de la partie ferme de la peine, il y a lieu de tenir compte du pronostic et de la culpabilité de l'auteur. Plus le pronostic est favorable et la culpabilité légère, plus la partie ferme de la peine doit être petite. À cet égard, le juge dispose d'un large pouvoir d'appréciation.
5.2 La Cour criminelle a retenu que le recourant était un délinquant primaire, que son casier judiciaire était vierge, que sa situation personnelle était bonne, qu'il avait du travail, un enfant en bas âge et un autre enfant avec lequel il entretenait des relations personnelles et qu'il vivait avec la mère de son second enfant. Elle a toutefois considéré qu'au vu de la gravité de la culpabilité de l'intéressé et notamment du fait qu'il n'avait pas réellement pris conscience de sa faute, la peine ferme devait être fixée au maximum légal de 50 % de la peine totale, soit à 18 mois. Les juges cantonaux ont ainsi tenu compte des éléments pertinents pour fixer la quotité de la peine ferme à effectuer et on ne discerne aucun abus dans leur appréciation. Le grief doit donc être écarté.
6. Invoquant une violation de l'<ref-law>, le recourant considère que le montant de 20'000 fr., alloué à la plaignante à titre d'indemnité pour tort moral, est exagéré.
6.1 Selon l'<ref-law>, celui qui subit une atteinte illicite à sa personnalité a droit à une somme d'argent à titre de réparation morale, pour autant que la gravité de l'atteinte le justifie et que l'auteur ne lui ait pas donné satisfaction autrement.
L'ampleur de la réparation morale dépend avant tout de la gravité des souffrances physiques ou psychiques consécutives à l'atteinte subie par la victime et de la possibilité d'adoucir sensiblement, par le versement d'une somme d'argent, la douleur morale qui en résulte. Sa détermination relève du pouvoir d'appréciation du juge. En raison de sa nature, l'indemnité pour tort moral, qui est destinée à réparer un dommage qui ne peut que difficilement être réduit à une simple somme d'argent, échappe à toute fixation selon des critères mathématiques, de sorte que son évaluation en chiffres ne saurait excéder certaines limites; l'indemnité allouée doit toutefois être équitable. Le juge en proportionnera donc le montant à la gravité de l'atteinte subie et il évitera que la somme accordée n'apparaisse dérisoire à la victime. S'il s'inspire de certains précédents, il veillera à les adapter aux circonstances actuelles pour tenir compte de la dépréciation de la monnaie (<ref-ruling> consid. 7.2 p. 36 s.; <ref-ruling> consid. 2a p. 273).
La fixation de l'indemnité pour tort moral est une question d'application du droit fédéral, que le Tribunal fédéral examine donc librement. Dans la mesure où cette question relève pour une part importante de l'appréciation des circonstances, le Tribunal fédéral intervient certes avec retenue, notamment si l'autorité cantonale a mésusé de son pouvoir d'appréciation en se fondant sur des considérations étrangères à la disposition applicable, en omettant de tenir compte d'éléments pertinents ou encore en fixant une indemnité inéquitable parce que manifestement trop faible ou trop élevée. Toutefois, comme il s'agit d'une question d'équité - et non pas d'une question d'appréciation au sens strict, qui limiterait son pouvoir d'examen à l'abus ou à l'excès du pouvoir d'appréciation -, il examine librement si la somme allouée tient suffisamment compte de la gravité de l'atteinte ou si elle est disproportionnée par rapport à l'intensité des souffrances morales causées à la victime (<ref-ruling> consid. 7.2 p. 37; <ref-ruling> consid. 2a p. 273; <ref-ruling> consid. 4c/aa p. 12 s).
6.2 Le recourant estime que l'indemnité octroyée est excessive compte tenu des éléments suivants. D'une part, la victime avait presque 15 ans au moment des faits. D'autre part, celle-ci n'a fourni aucune pièce attestant de son suivi médical et a admis ne pas avoir été suivie psychologiquement en raison des infractions commises par le recourant. De plus, ce dernier n'est pas le seul responsable des difficultés rencontrées par la plaignante, celle-ci ayant entretenu des relations avec d'autres hommes au moment des faits. Enfin, aucun élément ne permet d'affirmer que la jeune femme aurait été traumatisée.
Ce faisant, le recourant se plaint d'arbitraire dans l'établissement des faits. Cependant, il n'invoque pas expressément ce grief et se contente en réalité d'opposer sa propre appréciation des preuves à celle effectuée par l'autorité cantonale. Sa critique est ainsi insuffisamment motivée au regard de l'<ref-law> et par conséquent irrecevable.
6.3 Le recourant considère que l'indemnité allouée viole l'<ref-law>.
En l'espèce, l'intéressé a commis plusieurs actes d'ordre sexuel sur A.Y._, âgée de seulement 14 ans au moment des premiers actes. Il l'a caressée sur le sexe, lui a pris la main pour qu'elle le masturbe, l'a pénétrée à au moins quatre reprises, lui a demandé de lui faire des fellations à au moins deux reprises, dont une où il a éjaculé dans sa bouche, et l'a sodomisée à une reprise. Sa faute apparaît comme grave et le fait que la victime ait eu des relations sexuelles avec d'autres garçons ne la diminue pas. Selon les constatations retenues, l'intimée a été atteinte par les actes du recourant. Elle a rencontré et rencontre encore des difficultés dans ses relations avec les garçons. Elle a des flashs concernant les événements passés. Elle a été suivie psychologiquement, sans toutefois fournir de pièce médicale à ce sujet. Au regard de ces éléments et plus particulièrement des atteintes subies et de leurs conséquences sur la victime, on ne saurait dire que l'indemnité octroyée est trop élevée.
7. Le recours doit donc être rejeté dans la mesure où il est recevable. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant, qui succombe (cf. <ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Jura, Cour criminelle.
Lausanne, le 2 décembre 2010
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Bendani