Faits:
A. Par jugement du 9 septembre 2011, la Cour pénale du Tribunal cantonal de la République et canton du Jura a réformé un jugement du Juge pénal du Tribunal de première instance de Porrentruy, en ce sens que X._ est reconnu coupable d'actes d'ordre sexuel avec des enfants (<ref-law>) et condamné à une peine pécuniaire de 300 jours-amende à 30 francs l'un, avec sursis et délai d'épreuve de deux ans. Il l'a en outre condamné à payer à A._ une indemnité de dépens de première instance de 11'475 francs et d'appel de 3'790 francs 80 ainsi qu'une indemnité pour tort moral de 5'000 francs.
En substance, elle a retenu les faits suivants:
En 1999, X._ était l'ami intime de la mère de A._, née le 21 août 1988, avec laquelle il a cohabité quelques mois. Il a fait subir à l'enfant des attouchements de nature sexuelle lorsqu'elle dormait dans sa propre chambre ou dans la chambre à coucher de sa mère en la touchant sur la poitrine, à une reprise, et en mettant la main sur son sexe, par-dessous son pyjama, et en y introduisant un ou plusieurs doigts, à réitérées reprises, sur une période de plusieurs mois, et ce jusqu'à fin juin 1999.
B. X._ interjette un recours en matière pénale au Tribunal fédéral contre le jugement du 9 septembre 2011. Il conclut à l'annulation de celui-ci et à ce qu'il soit libéré de la prévention d'actes d'ordre sexuel avec des enfants et acquitté, subsidiairement, au renvoi de la cause à l'autorité cantonale.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant se plaint à plusieurs égards d'une violation de l'interdiction de l'arbitraire dans l'appréciation des preuves et l'établissement des faits (art. 9 Cst.) ainsi que d'une violation du principe de la présomption d'innocence. Il ne soutient pas qu'un doute subsisterait après l'examen des preuves. Il tente de démontrer que les autorités cantonales auraient dû en éprouver un en les appréciant sans arbitraire. Ces griefs se confondent sous cet angle (cf. <ref-ruling> consid. 2a p. 88).
1.1 Dans le recours en matière pénale, les faits constatés par l'autorité précédente lient le Tribunal fédéral (<ref-law>), à moins qu'ils n'aient été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit essentiellement de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 4.1.2 p. 62), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le Tribunal fédéral n'est en effet pas une autorité d'appel. Il n'a pas à procéder à nouveau librement à l'appréciation des preuves ou à la constatation des faits comme l'a fait l'autorité de première instance. On peut renvoyer, sur la notion d'arbitraire, aux principes maintes fois exposés par le Tribunal fédéral (cf. <ref-ruling> consid. 2.4 p. 5). S'agissant plus précisément de l'appréciation des preuves et de l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 4.2 p. 560).
Lorsque l'autorité cantonale a forgé sa conviction sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit être examinée dans son ensemble. Il n'y a pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêt 6B_992/2008 du 5 mars 2009 consid. 1.2).
Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si un tel moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 3.2). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> c. 5.1 p. 365 et réf. citées).
Le recourant oppose, dans une large mesure, sa propre appréciation des preuves à celle des autorités cantonales. On se limitera, dans la suite, à l'examen des arguments qui n'apparaissent pas d'emblée irrecevables pour ce motif (<ref-ruling> consid. 6 p. 397).
1.2 La cour cantonale a estimé que les déclarations de l'intimée étaient véridiques sur la base d'un ensemble d'indices convergents.
Elle a constaté que l'intimée était entièrement capable de témoigner, aucune circonstance ne permettant d'avoir un doute sur ce point. Par ailleurs, aucun indice ne permettait de suspecter qu'elle avait été influencée par un tiers. Elle avait confié à plusieurs personnes, depuis 2001, avoir subi des attouchements sexuels de la part du recourant, avant de dénoncer les faits à la police le 1er juillet 2009. Aucune de ces personnes n'avait émis de doutes sur la crédibilité des accusations qu'elle avait portées à l'encontre du recourant. Les circonstances dans lesquelles elle avait été amenée à dénoncer les agissements de celui-ci, après qu'elle l'a revu en 2008, n'étaient pas insolites. Outre le sentiment de honte qu'éprouvent généralement les victimes d'abus sexuels qui expliquait l'absence durable de dévoilement des actes subis, les raisons pour lesquelles elle n'avait pas souhaité faire état auparavant de ce qu'elle avait subi, à savoir sa peur et sa volonté que son père ne l'apprenne pas, étaient par ailleurs compréhensibles. Rien n'indiquait en outre qu'elle avait agi par esprit de vengeance et elle n'avait pas cherché à charger le recourant, limitant ses accusations à des faits clairement définis. Elle avait été directement confrontée au prévenu, renonçant au huis clos. Il n'était par ailleurs pas étonnant qu'elle n'ait pas donné les détails des abus qu'elle avait subis à chaque personne à laquelle elle s'était confiée. Malgré quelques contradictions, ses déclarations avaient été constantes et cohérentes sur les points essentiels durant toute la procédure et elle avait fourni des précisions qu'il était difficile d'imaginer si elles n'avaient pas été réellement vécues. Au vu des différents renseignements médicaux recueillis, l'intimée avait souffert de troubles qui étaient propres, d'après le cours ordinaire des choses, à se développer à la suite d'attouchements sexuels. Son ami avait également remarqué qu'elle souffrait d'un blocage lorsqu'il la touchait. De plus, sa mère avait constaté un changement chez sa fille à l'époque de la cohabitation avec le recourant. Enfin, les dénégations constantes de celui-ci n'étaient pas crédibles, notamment quant au fait qu'il ne s'était jamais trouvé seul avec l'intimée. Ainsi, au vu de l'ensemble de ces éléments, il y avait lieu de retenir que le recourant s'était bien livré aux attouchements décrits par l'intimée.
2. Le recourant conteste les différents éléments pris en compte par la cour cantonale dans le cadre de son appréciation de la crédibilité des dires de l'intimée.
2.1 Il invoque d'abord que les témoins entendus étaient tous des proches de la plaignante. Ils n'allaient en conséquence pas mettre en doute ses dires. La cour cantonale ne pouvait donc pas retenir qu'ils n'avaient pas émis de doute sur les déclarations de l'intimée.
2.1.1 Selon la cour cantonale, l'intimée s'était confiée à une amie, B._, en 2001 ou 2002, ainsi qu'à sa mère, après que cette amie en avait parlé à cette dernière. Elle avait également parlé des faits dénoncés à une autre amie, C._, en 2005, à son petit ami de l'époque, D._ en 2006 ou 2007 ainsi qu'à E._ qui avait été avisée par le précité. Enfin, elle en avait fait part à une intervenante LAVI en juin 2009. Hormis le recourant, aucune des personnes interrogées n'avait émis de doute sur la crédibilité des accusations portées par l'intimée.
2.1.2 Les dispositions de l'ancien code de procédure pénale de la République et Canton du Jura du 13 décembre 1990 (CPP/JU; RS/JU 321.1) ou du code de procédure pénale suisse (CPP; RS 312.0) ne dénient pas la qualité de témoin aux membres de la famille ou aux amis des parties à la procédure (cf. <ref-law>/JU et 162 ss CPP). Cette seule qualité n'est pas suffisante pour écarter leurs déclarations et leur appréciation de la crédibilité des dires de l'intimée. Le recourant n'invoque aucun élément permettant de penser que les personnes entendues auraient pu être amenées, en l'espèce, à faire des déclarations contraires à la vérité. On ne voit d'ailleurs pas quel aurait été l'intérêt des amis de l'intimée de faire de fausses déclarations, lesquelles avaient pour effet d'accuser à tort le recourant, alors même qu'ils ne le connaissaient pas. La mère de l'intimée était séparée du recourant depuis dix ans au moment de la dénonciation de sa fille et on ne voit pas davantage quel aurait été son intérêt à l'incriminer. Insuffisamment motivé, le grief est irrecevable.
2.2 Le recourant invoque qu'il était insoutenable de retenir que les circonstances qui avaient amené l'intimée à le dénoncer n'étaient pas insolites. En effet, celle-ci l'avait revu à plusieurs reprises avant le mois de décembre 2008 sans que cela ne déclenche chez elle de crise de panique. Elle avait en outre déclaré que tout lui était revenu en mémoire à ce moment, alors qu'elle avait par ailleurs indiqué en avoir parlé à plusieurs personnes depuis 2001.
2.2.1 La cour cantonale a considéré que la vue du recourant avait causé chez l'intimée un état de panique qui était dû à la promiscuité dans le bar où elle se trouvait. Son amie E._, qui l'accompagnait à ce moment, avait d'ailleurs expliqué qu'elle s'était mise à trembler, à pleurer et qu'elle avait voulu sortir dès l'instant où elle avait vu le recourant. Les explications de l'intéressée sur les raisons qui l'avaient amenée à dénoncer les faits étaient ainsi dignes de foi.
2.2.2 Si l'intimée a indiqué à la police qu'elle avait revu le recourant à quelques reprises à la fin de l'année 2008, elle a également précisé que c'était la première fois qu'elle se trouvait si proche de lui depuis les faits, ce qu'elle n'avait pas supporté. Dès lors, c'est après avoir revu le recourant dans des circonstances particulières qu'elle l'a dénoncé. Les déclarations de E._ attestent également de l'effet violent qu'a produit la vue du recourant sur l'intimée à cette occasion. Il n'était ainsi pas arbitraire de considérer que les circonstances invoquées avaient provoqué un choc chez l'intimée qui l'avait amenée à révéler les faits dont elle déclare avoir été victime.
De plus, le fait qu'elle ait indiqué que la vue du recourant lui avait fait se remémorer les actes qu'elle a dénoncés ne signifie pas qu'elle les avait oubliés, mais tout au plus qu'ils n'étaient pas présents dans son esprit au moment où elle avait revu le recourant. Il n'y a donc pas d'incohérence dans les déclarations de l'intimée sur ce point.
2.3 Selon le recourant, l'absence durable de dévoilement jusqu'en 2009 aurait dû éveiller des doutes sur la véracité des faits dénoncés. La cour cantonale n'avait pas tenu compte du fait que la mère de l'intimée avait déclaré qu'elle et sa fille avaient décidé d'attendre la majorité de cette dernière pour entreprendre des démarches judiciaires. Or, la dénonciation était intervenue alors que l'intimée avait déjà 21 ans. En outre, l'intimée avait indiqué à B._ qu'elle ne voulait pas dénoncer les faits incriminés pour ne pas briser le couple de sa mère. Ainsi, les motifs invoqués variaient et étaient contradictoires.
Par son argumentation, le recourant ne critique pas les motifs retenus par la cour cantonale pour expliquer la tardiveté de la dénonciation pénale, à savoir le sentiment de honte souvent éprouvé par les victimes d'abus sexuel, ainsi que la peur et la volonté que son père ne soit pas informé. Au demeurant, les raisons pour lesquelles l'intimée n'a pas dénoncé, à l'époque, le recourant pouvaient être multiples, sans être pour autant contradictoires. Le recourant ne soutient par ailleurs pas que les motifs qu'il cite ne permettaient pas, en eux-mêmes, d'expliquer l'absence de dénonciation. L'appréciation de la cour cantonale selon laquelle la crédibilité des dires de l'intimée ne pouvait pas être remise en cause par le fait qu'elle n'avait pas dénoncé plus rapidement le recourant est exempte d'arbitraire. La critique est infondée autant qu'elle est recevable.
2.4 Le recourant soutient qu'il ne pouvait être exclu que les déclarations de l'intimée étaient motivées par de la jalousie puisqu'il ressortait des explications de sa mère qu'elle présentait un tel trait de caractère et qu'elle était très proche de cette dernière. De plus, celle-ci avait indiqué qu'elle avait mis fin à sa relation avec lui parce qu'il l'aurait trompée. Il ne pouvait donc être exclu que l'intimée avait été motivée par un esprit de vengeance. Enfin, admettre que celle-ci n'avait pas de motif de l'accuser faussement constituait un renversement du fardeau de la preuve.
2.4.1 Selon la cour cantonale, la relation entre la mère de l'intimée et le recourant avait pris fin en 1999 sans problème particulier et ils n'avaient plus eu de contact depuis. Ainsi, à supposer que l'intimée fût jalouse du recourant, elle n'avait pas d'intérêt à dénoncer les faits dix ans après la fin de la relation de ce dernier avec sa mère. Les accusations portées à l'encontre du recourant ne pouvaient ainsi s'expliquer par un esprit de vengeance et il n'existait aucune raison sérieuse de suspecter une dénonciation calomnieuse.
2.4.2 Par son argumentation, le recourant ne démontre pas en quoi les constatations cantonales seraient arbitraires. L'écoulement d'une longue période de temps est un facteur d'appréciation pertinent pour retenir que les déclarations de l'intimée ne pouvaient s'expliquer par un esprit de vengeance, ce d'autant qu'il a été constaté que la séparation du recourant et de sa compagne s'était passée dans de bonnes conditions et que l'intimée a par ailleurs déclaré au Juge d'instruction qu'hormis les faits dénoncés, elle n'avait pas eu de problème avec lui. En outre, dans la mesure où la relation entre la mère de l'intimée et le recourant avait pris fin, elle n'avait plus de raison de se montrer jalouse à l'encontre de ce dernier. Le grief est infondé autant qu'il est recevable. Enfin, la critique du recourant sur le renversement du fardeau de la preuve tombe à faux, dès lors que la cour cantonale s'est livrée à l'appréciation de la crédibilité des déclarations de l'intimée (cf. consid. 1).
2.5 Le recourant fait valoir qu'en affirmant que l'intimée n'avait pas cherché à l'accuser avec acharnement, la cour cantonale avait perdu de vue qu'elle avait déclaré à E._ qu'il serait allé jusqu'à la violer.
L'allégation de l'intimée ne ressort pas du jugement entrepris et le recourant n'expose pas en quoi cet élément aurait été arbitrairement omis. Le moyen est irrecevable (<ref-law>).
2.6 Le recourant fait valoir que l'intimée n'a pas expliqué les attouchements de la même manière à tous les témoins interrogés. Elle avait dit à B._ qu'il lui faisait des caresses "plus qu'un papa" et à C._ qu'il lui touchait la poitrine et un peu plus bas. De plus, elle avait indiqué à la police qu'il lui touchait le sexe, et pas ailleurs, alors que devant le Juge pénal, elle avait indiqué qu'il l'avait touchée une fois sur la poitrine. Les déclarations de l'intimée étaient ainsi incohérentes et dénuées de détails.
La cour cantonale a considéré que le fait que l'intimée n'avait pas immédiatement indiqué dans le cadre de la présente procédure que le recourant lui avait touché la poitrine n'était pas de nature à remettre en cause sa crédibilité dans la mesure où ce geste n'avait été commis qu'à une seule reprise, à la différence des autres, et n'était pas significatif pour elle. Au demeurant, comme le recourant le relève, l'intimée avait parlé aussi de ce geste à une amie par le passé. Une telle appréciation n'est pas insoutenable. Enfin, on ne discerne pas en quoi la description plus ou moins complète des faits dénoncés par l'intimée à ses proches ou l'emploi d'une terminologie différente pour les décrire serait contradictoire ou incohérent. La cour était ainsi parfaitement fondée à retenir que les déclarations de l'intimée avaient été constantes et cohérentes sur les points essentiels durant toute la procédure.
2.7 Le recourant relève que l'intimée s'est contredite sur les raisons pour lesquelles elle se retrouvait parfois dans le lit de sa mère.
La cour cantonale n'a pas ignoré que l'intimée avait varié dans ses déclarations sur ce point exposant dans un premier temps que sa mère s'endormait devant la télévision, puis dans un second temps qu'elle rejoignait le lit de sa mère alors que cette dernière partait travailler. Il était établi qu'en réalité sa mère travaillait lorsqu'elle cohabitait avec le recourant. Une telle confusion n'était cependant pas insolite au vu du long écoulement du temps entre les faits et les premières déclarations de l'intimée. Le recourant ne critique pas la motivation de la cour cantonale et n'expose pas en quoi elle serait insoutenable. La confusion de l'intimée peut par ailleurs s'expliquer par le fait que sa mère a bien cessé son travail pratiquement à l'époque des faits puisque selon un certificat médical du 31 août 2000, elle a été en arrêt de travail à 100% dès le 26 juin 1999 pour une période indéterminée. En outre, qu'elle se soit trouvée seule avec le recourant dans le lit de sa mère parce que celle-ci était dans le salon ou partie à son travail n'est pas pertinent quant à la matérialité des actes reprochés. C'est en outre de manière constante que l'intimée a indiqué que les faits se déroulaient également dans sa chambre lorsque le recourant venait la réveiller.
2.8 Le recourant invoque également que le moment où les faits se déroulaient n'était pas clairement établi puisque selon les explications de l'intimée devant le juge d'instruction, ils se produisaient "plutôt le matin". Il relève également que selon les témoins, ils auraient eu lieu la nuit.
Par son argumentation purement appellatoire, le recourant n'explique pas en quoi la cour cantonale aurait arbitrairement retenu que les faits se déroulaient le matin en se fondant sur les déclarations de l'intimée au cours de la même audition devant le juge d'instruction, puis devant elle. Quant aux témoins, ils avaient probablement déduit des déclarations de l'intimée, qui leur avait indiqué que les actes se déroulaient quand elle dormait, qu'ils avaient lieu la nuit. C'est sans arbitraire que la cour cantonale en a conclu que les témoignages n'affectaient pas la crédibilité des déclarations de l'intéressée.
2.9 Le recourant critique encore la décision cantonale en tant qu'elle retient que l'intimée avait donné des détails qui ne pouvaient être inventés s'ils n'avaient pas été vécus, en particulier le fait qu'elle avait serré le cordon du pantalon de son pyjama pour éviter qu'il ne répète les gestes qu'il avait déjà commis ou le fait qu'elle bougeait ou faisait du bruit pour manifester qu'elle se réveillait afin que le recourant cesse ses agissements, puisqu'elle avait remarqué qu'il mettait fin à ses gestes déplacés dès qu'elle bougeait. Ce faisant, il ne fournit à l'appui de sa critique purement appellatoire aucune motivation de nature à démontrer l'arbitraire dans l'appréciation des déclarations de l'intimée (<ref-law>). Il en va de même quand il oppose aux faits ainsi retenus que l'on peut se demander pour quelles raisons l'intimée avait attendu plusieurs mois avant de s'enfermer dans sa chambre, ou comment il aurait pu croire qu'elle était endormie si elle avait rejoint le lit de sa mère ou si cette dernière l'avait réveillée avant de partir. Sur ce point, la cour cantonale a retenu qu'il rejoignait l'intimée alors qu'elle dormait. Qu'elle ait ainsi été réveillée au préalable est sans pertinence. Enfin, le recourant n'explique pas de manière conforme aux exigences de l'<ref-law> ce qu'il entend déduire de la circonstance que l'intimée ait eu ou non un chat à l'époque des faits quant à la crédibilité de l'intimée.
2.10 Le recourant fait valoir que le Dr F._, spécialiste en psychiatrie et psychothérapie d'enfants et adolescents, consulté en 1999 et 2001 par l'intimée, n'avait pas mis en lien les attouchements dont l'intimée prétendait avoir été victime avec le diagnostic posé relatif aux troubles dont elle souffrait.
2.10.1 La cour cantonale a relevé que l'intimée avait consulté à trois reprises le Dr F._ en 1999 pour un trouble du comportement avec anxiété, renfermement, propos suicidaires et trouble du sommeil, et à une reprise en 2001. Selon le rapport du 31 août 2009 de ce médecin, lors de la dernière consultation, la mère de l'intimée lui avait fait part des soupçons d'abus sexuels, mais l'enfant avait refusé d'en parler et s'était opposée à l'idée d'une enquête. Aucun diagnostic n'avait été posé à cette occasion. Pour l'autorité cantonale, il était significatif que l'enfant avait souffert de ces troubles pendant la période durant laquelle la mère de l'intimée entretenait une relation avec le recourant. La psychologue qui suivait l'intimée depuis le mois de janvier 2011 avait par ailleurs diagnostiqué un syndrome post-traumatique chez cette dernière, qui avait des flash-back, éprouvait des angoisses et avait de la difficulté à faire confiance aux autres, en particulier aux hommes. Selon la cour cantonale, les troubles médicaux constatés étaient ainsi propres, d'après le cours ordinaire des choses, à se développer à la suite d'attouchements sexuels.
2.10.2 Le seul fait que le Dr F._ n'ait pas dénoncé les faits relatés par la mère de l'intimée en 2001 ou qu'il n'ait pas posé de diagnostic liant ces révélations aux troubles dont souffrait l'intimée ne suffit pas à rendre arbitraire l'appréciation de la cour cantonale. D'une part, il ressort du rapport de ce médecin que l'enfant s'était refusée à toute confidence et refusait toute enquête, d'autre part, ce dernier n'a pas été questionné sur l'origine des troubles, mais uniquement invité à décrire son intervention auprès de l'intimée. L'appréciation de la cour cantonale se fonde aussi sur le syndrome de stress post-traumatique diagnostiqué par la psychologue de l'intimée et que le recourant ne discute pas. Il est constant que ces troubles - dont le recourant ne conteste pas la réalité - sont apparus simultanément aux faits incriminés et qu'ils se sont manifestés ensuite sous d'autres formes à l'âge adulte, par une appréhension vis-à-vis des hommes.
2.11 Selon le recourant, il est douteux de retenir sur la base des témoignages de E._ et de D._, respectivement amie et ancien petit ami de l'intimée, qu'elle souffrait d'un blocage et ne se laissait toucher que difficilement par un homme, tout comme il était douteux, si ce blocage était avéré, de considérer qu'il était la conséquence des abus sexuels dont elle aurait été la victime. Il n'était par ailleurs pas étonnant qu'une jeune fille ne soit pas à l'aise avec un jeune homme qu'elle connaissait depuis peu de temps. Enfin, la thérapeute de l'intimée ne mentionnait pas ce trouble aux termes de son courrier du 13 juillet 2011.
La cour cantonale a retenu, au vu des témoignages de E._ et de D._, que l'intimée souffrait d'un blocage et ne se laissait pas caresser par un homme sur les parties intimes. En se bornant à contester ces témoignages sans exposer en quoi ils auraient été arbitrairement appréciés, le recourant procède de manière appellatoire, et partant irrecevable (<ref-law>). En outre, il ressort du courrier de la psychologue qui suit l'intimée depuis le 31 janvier 2011 qu'elle a été consultée en raison de la grande souffrance relationnelle que celle-ci présente, notamment en ce qui concerne sa difficulté de faire confiance aux autres et plus particulièrement aux hommes. Elle indique également que l'intimée lui a fait part des attouchements dont elle a été victime. Il est dès lors inexact de soutenir, comme le fait le recourant, que l'intimée n'a pas mentionné ses difficultés relationnelles, en particulier avec les hommes.
2.12 Selon le recourant, la mère de l'intimée avait indiqué qu'elle n'avait rien remarqué de particulier chez sa fille et que les humeurs de celle-ci étaient certainement dues à son adolescence. La cour cantonale ne tenait pas compte du fait qu'on pouvait "fortement penser" que son comportement n'était pas différent de celui de n'importe quel adolescent, et ne résultait pas d'abus sexuels. La cour cantonale retenait en outre que l'intimée accompagnait sa mère au travail afin de lui échapper, écartant son explication selon laquelle elle rejoignait un camarade avant d'aller en cours, laquelle était pourtant plausible.
Contrairement à ce qu'il soutient, il ressort des déclarations de la mère de l'intimée qu'elle avait remarqué un changement chez sa fille à l'époque de sa cohabitation avec le recourant. Elle n'était plus à l'aise avec celui-ci, devenait agressive, ses notes à l'école chutaient et elle avait pris du poids (cf. D.4.2.1, p. 9-10). En faisant valoir qu'on peut penser que le comportement de l'intimée était dû à l'adolescence, le recourant ne formule qu'une hypothèse, sans démontrer que l'appréciation de l'autorité cantonale, malgré la coïncidence temporelle entre la cohabitation du recourant et le changement de comportement de l'intimée, était insoutenable. La cour cantonale a aussi constaté, qu'après un certain temps de vie commune avec le recourant, l'enfant accompagnait sa mère au travail à 7h00, même si elle avait des horaires différents, et cela même lorsqu'elle était malade. Un tel comportement était pour le moins insolite et permettait en réalité à l'enfant de ne pas rester seule avec le recourant. Quand le recourant oppose à cette appréciation du comportement de l'enfant qu'elle quittait la maison tôt pour rejoindre un ami, il fait valoir un fait qui ne ressort pas des constatations cantonales et qui est, partant, irrecevable. Enfin, il n'est pas arbitraire de retenir qu'il est insolite qu'une fillette de onze ans préfère partir à l'école avec une heure d'avance plutôt que de rester encore à la maison dans la mesure où il paraît peu concevable que des enfants se retrouvent quotidiennement à sept heures du matin pour jouer.
2.13 Le recourant considère comme choquant le fait que la cour n'ait pas jugé crédible ses déclarations constantes selon lesquelles il ne s'était jamais retrouvé seul avec l'enfant.
Pour fonder son appréciation, la cour cantonale a détaillé pendant la période de cohabitation du recourant avec la mère et l'enfant les horaires et activités de chacun d'eux pour en conclure qu'il n'était pas crédible quand il affirmait ne jamais s'être retrouvé seul avec l'enfant. Ainsi, lui-même était à cette époque à l'AI à 50% et sans emploi. Quant à la mère de l'enfant, elle travaillait tôt et partait à 7h00 du matin pour rentrer vers 17h00 pour préparer le souper, et repartait travailler dans un restaurant. L'enfant suivait les cours à l'école primaire. Par sa critique qui ne répond pas aux exigences accrues de motivation en matière d'arbitraire (<ref-law>), le recourant n'expose pas en quoi cette appréciation serait arbitraire. Il y a également lieu de rappeler que ses affirmations sont contredites par les déclarations de la mère de l'intimée devant le juge d'instruction, puis devant le premier juge, selon lesquelles il levait sa fille le matin, et cela jusqu'à ce que celle-ci insiste pour l'accompagner lorsqu'elle quittait l'appartement. Le grief est irrecevable.
2.14 Enfin, le recourant invoque qu'il était insoutenable de retenir comme indice de la crédibilité des dires de l'intimée que celle-ci avait accepté d'être confrontée à lui en renonçant au huis-clos.
La cour cantonale a indiqué que l'attitude de l'intimée durant la procédure devait être soulignée. Elle avait été confrontée au recourant et avait renoncé au huis clos lors des débats devant elle. Il est vrai que ce dernier élément ne permet pas de tirer une quelconque conclusion sur la véracité des déclarations de l'intimée. La mention de celui-ci, dont le recourant ne soutient pas, à juste titre, qu'il aurait joué un rôle prépondérant dans le cadre de l'appréciation des preuves de l'autorité cantonale, ne saurait, à lui seul, justifier l'annulation de la décision attaquée, qui repose sur un ensemble d'indices convergents dont l'arbitraire n'a pas été démontré.
2.15 En définitive, au vu de l'ensemble des éléments pris en compte par la cour cantonale, à savoir, en particulier, que si l'intimée n'avait pas immédiatement dénoncé les faits dont elle accuse le recourant, elle s'était néanmoins régulièrement confiée à des tiers à ce sujet, pour la première fois peu après les actes, soit en 2001, que l'absence de dénonciation pouvait s'expliquer par son sentiment de honte ainsi que la peur et la volonté que son père ne soit informé et qu'elle ne pouvait s'expliquer par une volonté de se venger du recourant, que l'intimée a été constante quant aux éléments essentiels reprochés au recourant, qui sont clairement circonscrits à un mode de procéder déterminé et que ses dires sont corroborés par des troubles constatés médicalement qui sont propres à se développer à la suite d'attouchements sexuels, c'est sans arbitraire que la cour cantonale a considéré que les déclarations de l'intimée étaient crédibles et que le recourant avait commis les faits qui lui sont reprochés.
3. Pour le surplus, le recourant ne conteste pas qu'eu égard aux faits retenus, les conditions objectives et subjectives de l'infraction à l'<ref-law> sont réunies, pas plus que la peine prononcée à son encontre. Le recours est rejeté dans la mesure où il est recevable.
4. Le recourant a requis le bénéfice de l'assistance judiciaire. Comme ses conclusions étaient dépourvues de chance de succès, celle-ci ne peut être accordée (<ref-law>). Il devra donc supporter les frais judiciaires, dont le montant sera arrêté en tenant compte de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens à l'intimée, qui n'a pas été amenée à se déterminer sur le recours. La demande d'effet suspensif est sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton du Jura.
Lausanne, le 1er mars 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Rieben