Faits: A. Par arrêt du 7 septembre 2009, la Cour criminelle du Tribunal cantonal jurassien a déclaré X._ coupable de contraintes sexuelles, actes d'ordre sexuel avec des enfants et viol. Elle l'a condamné à une peine privative de liberté de 5 ans, sous déduction de la détention avant jugement et à payer à la plaignante, A.Y._, 30'000 fr. à titre d'indemnité de tort moral et 16'570 fr. 40 pour les frais de défense. Elle a également ordonné au titre de mesure le suivi sans délai par X._ d'un traitement ambulatoire sous la forme d'une aide psychothérapeutique, cognitivo-comportementale ou d'une sexothérapie au sens du chiffre 5 de l'expertise psychiatrique du Dr Z._ du 25 septembre 2008. Cette condamnation repose, en bref, sur les éléments suivants. A.a X._ et B.Y._ ont fait connaissance en août 2007, via internet. Le premier a rapidement rencontré les enfants de son amie et s'est progressivement installé chez elle. A.b De novembre 2007 au 21 avril 2008, X._ a fait subir, à de multiples reprises, des actes d'ordre sexuel à la fille de B.Y._, A.Y._, née le 8 juillet 1993. Il l'a caressée sur les seins et le sexe. Il lui a pris la main pour qu'elle le masturbe. Il s'est masturbé devant elle, a éjaculé sur elle, notamment sur les seins. Il a introduit ses doigts dans l'anus et le sexe de la jeune fille. Il lui a léché les parties intimes. Il lui a imposé une fellation et a éjaculé dans sa bouche. Il a eu une relation sexuelle complète avec elle, sans éjaculer, et l'a sodomisée à trois reprises, dont une fois avec éjaculation. B. X._ a déposé un recours en matière pénale au Tribunal fédéral. Il a conclu, principalement, à la cassation de l'arrêt entrepris, à son acquittement des chefs d'accusation de contrainte sexuelle et de viol, au prononcé d'une peine très nettement inférieure aux 5 ans prononcés par l'autorité inférieure au regard notamment de sa responsabilité restreinte et des circonstances atténuantes. A titre préalable, il a également demandé sa mise en liberté provisoire et requit l'effet suspensif ainsi que l'assistance judiciaire. Par ordonnance du 6 novembre 2009, le Président de l'autorité de céans a déclaré irrecevable la requête de mise en liberté et sans objet celle d'effet suspensif.