Faits:
A. Par arrêt du 21 octobre 2010, la Cour criminelle du Tribunal cantonal jurassien a condamné X._, pour assassinat, viol, lésions corporelles simples et injures ainsi que menaces, injures et utilisation abusive d'une installation de télécommunication, à la privation de liberté à vie sous déduction de 238 jours de détention avant jugement, et à 200 fr. d'amende (substituables par deux jours de privation de liberté). Cet arrêt statue, en outre, sur les prétentions civiles de Y._, la confiscation d'un cutter et les frais de la procédure. Il repose, en résumé, sur les faits pertinents suivants.
X._ et Y._ se sont rencontrés au cours de l'année 2000. Leur fils A._ est né le 27 août 2002. Les relations du couple se sont rapidement dégradées. En 2007, X._ a fait l'objet d'une mesure d'éloignement. Le couple s'est définitivement séparé à fin octobre 2007. X._ supportait mal l'idée d'une séparation et que son ex-compagne bénéficie de la garde de l'enfant. L'organisation du droit de visite a posé d'importants problèmes et nécessité l'intervention à plusieurs reprises de la police ainsi que la mise en place d'une curatelle éducative. Dans ce contexte, X._ a menacé Y._ notamment en lui disant qu'il allait lui faire pire que la mort et qu'ils allaient faire le dernier voyage les trois ensemble. Il la suivait, lui téléphonait sans cesse. Il lui a également déclaré qu'il allait entrer chez elle, qu'elle allait être très surprise et qu'elle allait trembler. Y._ vivait dans la peur qu'il mette ses menaces à exécution.
Le 20 juin 2008, vers 0h26, Y._ et X._ ont eu des contacts tout d'abord téléphoniques, puis X._ s'est rendu devant le domicile de la première, laquelle lui a parlé depuis sa terrasse. Cette discussion a duré 5 à 10 minutes environ, après quoi X._ est reparti avec son véhicule. Y._ s'est couchée vers 2h30 du matin. X._ est ensuite revenu avec son automobile. Il s'est muni d'un cutter, d'un pied-de-biche et d'une petite lampe frontale. Après s'être introduit par effraction dans la maison, il a dévissé certains fusibles de l'appartement de Y._. Une fois dans celui-ci, il s'est rendu dans la cuisine où il s'est emparé de plusieurs couteaux qu'il a cachés dans la poubelle. Il est entré dans la chambre à coucher où dormaient Y._ et son fils. Il a porté ce dernier dans sa chambre avant de revenir auprès de son ex-compagne. Cette dernière s'est réveillée alors qu'il était sur elle et qu'il était déjà en train de la pénétrer. Il portait une lampe au poignet. Y._ a constaté que son fils ne se trouvait plus dans le lit et qu'il n'y avait plus de lumière. Elle s'est inquiétée de l'absence de l'enfant et X._ l'a rassurée en lui disant qu'il dormait dans sa chambre. Y._ n'a pas cherché à lui résister car elle pensait qu'elle ne pourrait de toute façon rien faire. Les faits n'ont duré que quelques secondes. X._ lui a ensuite demandé si elle avait fumé et il lui a dit qu'elle avait fumé sa dernière cigarette. Il lui a fait sentir qu'il voulait à nouveau avoir une relation sexuelle avec elle. Elle lui a dit qu'elle allait mettre une belle chemise de nuit pour lui. Il l'a embrassée sur la bouche et elle est allée chercher une chemise grise. Elle lui a dit qu'elle voulait boire quelque chose et lui a demandé comment allait le petit. Il lui a répondu que l'enfant dormait. Elle a fait semblant d'aller dans la cuisine et s'est enfuie, en sautant d'une fenêtre située à 2 m 40 de hauteur. La Cour cantonale a précisé, sur ce point, que les déclarations du prévenu, selon lesquelles la relation sexuelle était pleinement consentie, n'emportaient pas la conviction.
Après la fuite de Y._, A._ s'est réveillé et s'est dirigé vers X._. Ce dernier a pris le cutter qui se trouvait dans la poche de son pantalon, déposé dans la chambre à coucher, et a égorgé l'enfant au moyen de cette lame, avec laquelle il s'est lui-même porté un coup à la gorge, puis il s'est présenté à la fenêtre. Il est ensuite retourné dans la chambre à coucher, a appelé sa fille par téléphone et s'est couché à côté de son fils, la tête de l'enfant reposant sur son bras droit, sa main gauche reposant sur le cou de l'enfant, le cutter posé au bout de la main droite sur l'oreiller et un natel posé sur son oreille gauche. A l'arrivée de la police, l'enfant ne présentait plus aucun signe de vie.
B. X._ forme un recours en matière pénale contre cet arrêt. Il conclut principalement à sa réforme en ce sens qu'il soit acquitté de la prévention de viol et que la cause soit renvoyée à l'autorité cantonale afin qu'elle fixe à nouveau la peine. A titre subsidiaire, il demande l'annulation de l'arrêt attaqué, le renvoi de la cause à la cour cantonale pour nouvelle décision au sens des considérants sur la prévention de viol et sur la fixation de la peine. Plus subsidiairement, il conclut à l'annulation de l'arrêt entrepris et au renvoi de la cause à l'autorité cantonale pour nouvelle fixation de la peine au sens des considérants.
Invités à se déterminer sur le recours, plus particulièrement sur la question de la peine, le Ministère public jurassien et le Tribunal cantonal ont conclu à son rejet en soulignant l'un et l'autre l'existence d'un risque de récidive, soit la dangerosité du recourant. Ce dernier n'a pas fait usage de la possibilité de déposer des observations.

Considérant en droit:
1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4, p. 313; sur la notion d'arbitraire, v. : <ref-ruling> consid. 2.4 p. 5). Ce dernier reproche se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst.; art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (<ref-ruling> consid. 2a p. 88). L'invocation de ces moyens ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (<ref-law>), suppose une argumentation claire et détaillée (<ref-ruling> consid. 1.4 p. 287; <ref-ruling> consid. 6 p. 397; <ref-ruling> consid. 1.4.2 p. 254), circonstanciée (<ref-ruling> consid. 3, p. 105). Aussi le recourant qui se plaint d'arbitraire ne saurait-il se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition. Il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité précédente, mais il doit démontrer, par une argumentation précise, que cette décision se fonde sur une constatation des faits ou une appréciation des preuves insoutenables (<ref-ruling> consid. 3.2 p. 400).
1.1 Le recourant conteste tout d'abord l'élément subjectif du viol. Il soutient, en bref, que la cour cantonale aurait ignoré des éléments de fait pertinents, soit en particulier le comportement ambigu de la victime à son égard tout au long de leur relation et après leur rupture, jusqu'au soir même des faits. L'intéressée avait ainsi accepté à plusieurs reprises de reprendre la vie commune, lui laissant entendre que leur relation n'était pas terminée et qu'elle avait encore des sentiments pour lui. Un témoin en avait confirmé la persistance. La Cour criminelle n'avait pas relevé que le couple avait repris la vie commune après une intervention de la police en 2004. Le recourant avait lui-même toujours soutenu avoir entretenu une relation sexuelle avec la plaignante dans le courant du mois de novembre 2007, alors qu'il était revenu passer quelques jours chez elle. Il relève encore que l'arrêt entrepris retient, à l'appui de la version des faits de la plaignante, qu'elle avait d'emblée fait part du fait qu'elle avait été violée et qu'elle en avait parlé au témoin B._, alors que ce dernier avait déclaré: « Elle m'a dit qu'il avait essayé de la violer [...] ». Dans un deuxième moyen, fondé sur l'interdiction de l'arbitraire et la violation de la présomption d'innocence, le recourant relève l'absence d'une opposition clairement exprimée par la victime, qui fût reconnaissable par lui-même. Il souligne que la victime a déclaré n'avoir pas résisté à son réveil. Il relève aussi, en se référant aux échanges téléphoniques et à la discussion intervenus durant la soirée, qu'une accalmie était intervenue.
1.2 Que la rupture du recourant avec son ex-compagne se soit prolongée dans le temps, que cette relation ait pu connaître des sursauts et que le recourant ait pu nourrir l'espoir d'une reprise de la vie commune ne remet pas en question la constatation de la cour cantonale selon laquelle il souhaitait faire subir à la plaignante une relation sexuelle non consentie. La cour cantonale a, en effet, fondé son appréciation sur les circonstances concrètes dans lesquelles le recourant avait agi le 20 juin 2008. Elle a ainsi, d'une part, écarté sa version d'une relation sexuelle pleinement consentie en relevant qu'il n'avait pu expliquer pourquoi le slip de la plaignante avait été découvert dans la chambre à coucher sectionné au niveau de l'entrejambe. Elle a aussi relevé qu'aucun autre vêtement que la chemisette et le slip de la plaignante n'avaient été retrouvés au même endroit, ce qui ne confirmait pas les allégations du recourant selon lesquelles la victime lui aurait demandé de choisir entre plusieurs pièces de lingerie (arrêt entrepris, consid. 3.8, p. 75). La cour cantonale a, d'autre part, exposé que le recourant avait profité d'un véritable climat de terreur qu'il avait créé et de la situation de frayeur et de surprise dans laquelle il avait mis la plaignante cette nuit-là pour lui faire subir l'acte sexuel contre sa volonté. Il avait intentionnellement instauré cette situation en s'introduisant par effraction et en enlevant les fusibles. Il était conscient que, dans ces circonstances, la plaignante allait se soumettre. Cette dernière s'était réveillée alors que le prévenu était déjà en train de la pénétrer, ce qui démontrait à l'évidence qu'il souhaitait lui faire subir l'acte sexuel contre sa volonté (arrêt entrepris, consid. 6.2, p. 87). Dans ce contexte, on ne saurait reprocher à la cour cantonale de n'avoir pas relaté par le menu toutes les circonstances de la relation du recourant avec sa compagne, moins encore de ne pas avoir imputé à cette dernière son attitude qui ne saurait, en tous les cas, être qualifiée d'ambiguë ou d'ambivalente la nuit du drame. Le fait que la jeune femme a mené la conversation qui a précédé les faits depuis son balcon, laissant le recourant dans la rue, suffit à exclure toute ambivalence quant à son refus d'un rapprochement ce soir-là, même si la discussion avait été calme. Le fait que le recourant a, dans un premier temps, quitté les lieux à l'issue de cet entretien démontre qu'il l'avait compris. On ne saurait, non plus, reprocher à la cour cantonale d'avoir déduit du modus operandi du recourant (introduction par effraction; coupure de l'électricité; découpe des sous-vêtements de la victime et pénétration de cette dernière dans son sommeil; etc.) qu'il savait sa victime non consentante. Pour le surplus, le recourant n'a jamais contesté le rapport sexuel en tant que tel (arrêt entrepris, consid. 3.8 p. 75), de sorte que l'on perçoit mal ce qu'il entend déduire en sa faveur du témoignage du dénommé B._. Ces griefs sont infondés.
2. Le recourant conteste ensuite la peine qui lui a été infligée.
2.1 Les règles générales régissant la fixation de la peine ont été rappelées dans l'arrêt publié aux <ref-ruling> (consid. 2.1 et les références citées). Il suffit d'y renvoyer en soulignant que le juge dispose d'un large pouvoir d'appréciation et que le Tribunal fédéral, qui examine l'ensemble de la question d'office (<ref-law>), n'intervient que lorsque l'autorité cantonale a fait un usage vraiment insoutenable de la marge de manoeuvre que lui accorde le droit fédéral, s'il a fixé une peine en-dehors du cadre légal, s'il s'est fondé sur des critères étrangers à l'<ref-law> ou si des éléments d'appréciation importants n'ont pas été pris en compte. L'exercice de ce contrôle suppose que le juge expose, dans sa décision, les éléments essentiels relatifs à l'acte ou à l'auteur qu'il prend en compte, de manière à ce que l'on puisse constater que tous les aspects pertinents ont été pris en considération et comment ils ont été appréciés, que ce soit dans un sens aggravant ou atténuant (<ref-law>). Il peut passer sous silence les éléments qui, sans abus du pouvoir d'appréciation, lui apparaissent non pertinents ou d'une importance mineure. La motivation doit cependant justifier la peine prononcée, en permettant de suivre le raisonnement adopté même si le juge n'est pas tenu d'exprimer en chiffres ou en pourcentages l'importance qu'il accorde à chacun des éléments qu'il cite (<ref-ruling> consid. 2c p. 104 s.).
La peine privative de liberté à vie est la sanction la plus lourde du code pénal (<ref-law>). Elle constitue le plafond du cadre légal des infractions qui la prévoient, l'assassinat notamment (<ref-law>). Pour cette raison déjà une motivation particulièrement complète et précise doit être exigée (cf. <ref-ruling> consid. 2c p. 104 s., précité). Lorsque l'assassinat est en concours ordinaire ou rétroactif avec d'autres infractions (art. 49 al. 1 et 2 CP), les motifs doivent aussi expliciter comment a été formée la peine d'ensemble. Ils doivent donc permettre d'identifier la peine de base et la peine complémentaire soit, en particulier, quelle infraction justifie, par elle-même, le prononcé de la peine privative de liberté à vie et pourquoi. La jurisprudence exclut, en effet, que le prononcé de cette peine résulte du seul effet d'aggravation du concours lorsqu'aucune des infractions en cause ne justifie à elle seule le prononcé de cette sanction (<ref-ruling> consid. 9.1 p. 105 s.). Il convient, par ailleurs, de rappeler, à ce propos, que les circonstances aggravantes ou atténuantes justifiant l'extension du cadre légal vers le haut ou vers le bas (état de fait qualifié ou privilégié) ne peuvent justifier de nouveau, dans le cadre légal étendu, l'aggravation ou l'allègement de la sanction. La motivation doit ainsi mettre en évidence la mesure particulière dans laquelle ces circonstances sont réalisées dans le cas concret et en quoi elles influencent la quotité de la sanction (<ref-ruling> consid. 2b p. 71 s.; <ref-ruling> consid. 2b p. 347 s.; en matière d'assassinat v. aussi arrêt 6P.47/2007 du 29 juin 2007 consid. 10).
2.2 En résumé, la cour cantonale a justifié la peine privative de liberté à vie en qualifiant la culpabilité du recourant d'extrêmement grave (arrêt entrepris, consid. 9.2). Elle a souligné le caractère barbare de l'égorgement du fils du recourant au moyen d'un cutter ainsi que le sang-froid et la détermination criminelle dénotés par la façon de s'introduire dans le domicile de son ex-compagne qu'il avait également violée. Il avait agi sans scrupule et tenté de faire porter à cette dernière la responsabilité de la survenance des faits. Auparavant, il avait, par ses menaces et son harcèlement, instauré durablement un climat de peur et de terreur et avait été reconnu coupable de menaces et d'utilisation abusive d'une installation de télécommunication (consid. 9.2.1). Ses mobiles apparaissaient purement égoïstes puisqu'il n'avait pas hésité à s'en prendre à son propre enfant pour en priver son ex-compagne qui venait de lui échapper. Au moment où il s'était rendu compte qu'il ne maîtrisait plus la situation, il avait froidement égorgé son fils pour punir la plaignante en faisant preuve d'un égoïsme primaire (consid. 9.2.2). Outre la mort de l'enfant, le comportement du recourant avait détruit la plaignante irrémédiablement sur le plan psychique (consid. 9.2.3). La cour cantonale a, dans ce contexte, relevé le concours d'infractions entre l'assassinat, le viol, les lésions corporelles simples, les menaces, les injures et l'utilisation abusive d'une installation de télécommunication (consid. 9.2.4). Elle a fait état des conclusions de l'expertise psychiatrique attestant d'une responsabilité pénale pleine et entière (consid. 9.2.5), du bon comportement du recourant depuis son incarcération, de sa collaboration avec la police et les autorités judiciaires ainsi qu'en détention et de l'absence de toute autre circonstance atténuante (consid. 9.2.6) en excluant en particulier le repentir sincère (consid. 9.2.7). La cour cantonale a aussi mentionné les bons antécédents et le casier judiciaire vierge (consid. 9.2.8). Elle a, enfin, rappelé, dans les grandes lignes le parcours personnel du recourant (consid. 9.2.8). La cour cantonale a conclu que compte tenu de l'ensemble de ces circonstances, seule une peine privative de liberté à vie était de nature à sanctionner la culpabilité du recourant conformément aux exigences légales, une amende de 200 fr. devant en outre sanctionner équitablement l'infraction à l'<ref-law> (consid. 9.2.9).
2.3 Le recourant reproche à la cour cantonale de n'avoir pas tenu compte, dans l'examen de la peine, du risque de récidive très peu élevé qu'il présente, soit de son absence de dangerosité. Il relève aussi sa situation familiale (trois enfants âgés de 21, 25 et 27 ans), son absence d'antécédents, sa bonne collaboration à l'enquête et son bon comportement durant son incarcération. Le recourant cite également deux cas d'assassinat dans lesquels des peines de 20 et 15 ans de réclusion et de privation de liberté ont été prononcées (arrêts 6S.81/2006, 6B_1092/2009 et 6B_67/2010). La cour cantonale aurait également tenu compte deux fois du mode opératoire et de l'absence de scrupule. La motivation de l'arrêt entrepris serait, enfin, insuffisante pour justifier une peine privative de liberté à vie.
2.3.1 La cour cantonale n'a pas justifié la quotité de la sanction infligée au recourant par sa dangerosité et l'on ne voit pas que son absence, qui est la norme, puisse, en elle-même, constituer un facteur atténuant. Le recourant ne peut, partant, rien déduire en sa faveur de ce qu'il invoque sur ce point.
En tant que, dans leurs observations, la cour cantonale et le Ministère public insistent, à l'inverse, sur la dangerosité du recourant à l'égard de son ex-compagne mise en évidence par l'expertise psychiatrique (arrêt entrepris, consid. D.1 et D.2 p. 56 s.), il convient de rappeler qu'un tel motif déduit des impératifs de prévention spéciale n'est susceptible de jouer qu'un rôle secondaire dans le système de la peine fondée sur la culpabilité et ne peut, en particulier, conduire à prononcer une peine excédant celle qui est justifiée par la faute du condamné (<ref-ruling> consid. 2b p. 25; GÜNTER STRATENWERTH, Schweizerisches Strafrecht, AT II, 2e éd. 2006, § 6 n. 69 p. 203 s.). Ces considérations valent, à plus forte raison, lorsque le juge est confronté à l'alternative d'une peine privative de liberté limitée ou non dans le temps en raison, d'une part, du seuil important que représente la transition entre les peines de 20 années de privation de liberté et la privation de liberté à vie (cf. en relation avec d'autres seuils légaux: <ref-ruling> consid. 3.5 p. 24 s.) et, d'autre part, parce que cette dernière sanction n'a pas vocation à se substituer à l'internement ou à l'internement à vie (<ref-law>). L'existence d'un risque de récidive, respectivement la dangerosité du condamné, ne sauraient ainsi justifier à elles seules le prononcé d'une peine privative de liberté à vie.
2.3.2 On ne voit pas non plus en quoi la paternité de trois enfants majeurs, avancée par le recourant, justifierait une plus grande clémence (cf. HANS WIPRÄCHTIGER, BSK, Strafgesetzbuch I, 2e éd. 2007, <ref-law>, n. 118; arrêt 6B_751/2009 consid. 3, du 4 décembre 2009), cependant que l'absence d'antécédents ne constitue pas un facteur atténuant (<ref-ruling> consid. 2.6 p. 2 ss). La cour cantonale a, par ailleurs, relevé le bon comportement du recourant depuis son incarcération, respectivement en détention ainsi que sa collaboration relativement bonne avec la police et les autorités judiciaires (arrêt entrepris, consid. 9.2.5 p. 95) et n'a donc pas ignoré ces facteurs. Ces griefs sont infondés.
2.3.3 Les considérants de la cour cantonale, qui mêlent l'appréciation des circonstances du viol avec celles de l'assassinat (arrêt entrepris consid. 9.2.1), mentionnent expressément le concours d'infraction dans le cadre de la fixation de la quotité de la sanction (consid. 9.2.4) et justifient la peine privative de liberté à vie par l' « ensemble des circonstances précitées » (consid. 9.2.9). Cet exposé ne permet pas de comprendre comment a été formée la peine d'ensemble, soit en particulier si l'assassinat seul justifie la privation de liberté à vie. De surcroît, les motifs ainsi adoptés, ne mettent pas clairement en évidence ce qui, en l'espèce, justifie de mentionner spécifiquement les circonstances fondant la qualification de l'assassinat dans le cadre de la fixation de la peine. Il s'ensuit que la motivation de la décision querellée ne répond pas aux exigences rappelées ci-dessus. (v. supra consid. 2.1 et la réf. aux <ref-ruling> consid. 2b p. 71 s. et 132 IV 102 consid. 9.1 p. 105 s.). Il convient, pour ce motif, d'annuler l'arrêt entrepris sur ce point et de renvoyer la cause à l'autorité cantonale afin qu'elle se prononce à nouveau sur cette question en tenant compte des considérants qui précèdent. Il est, en conséquence, prématuré d'examiner le grief du recourant fondé sur la comparaison de sa peine avec d'autres sanctions prononcées dans des cas d'assassinat.
3. Le recourant n'obtient que partiellement gain de cause. Il supporte une part des frais de la cause qui seront, en outre, fixés en tenant compte de sa situation économique (art. 65 al. 2 et 66 al. 1 LTF), qui n'apparaît pas favorable en raison de sa détention notamment. Il peut prétendre des dépens réduits (art. 64 al. 2 et 68 al. 1 LTF). Le point sur lequel il obtient gain de cause étant, par ailleurs, sans incidence sur les droits de la partie civile intimée, il n'y a pas lieu de mettre des frais à la charge de cette dernière (<ref-law>). Le Ministère public ne supporte pas de frais non plus (<ref-law>). Il n'y a pas lieu d'allouer des dépens au Ministère public (<ref-law>) ni à l'intimée, qui n'a pas été invitée à répondre au recours (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis partiellement, l'arrêt attaqué est annulé en tant qu'il prononce une peine privative de liberté à vie et la cause est renvoyée à la cour cantonale pour qu'elle statue à nouveau sur ce point. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2. La part des frais judiciaires mise à la charge du recourant est arrêtée à 800 fr., le solde demeurant à charge de l'Etat.
3. Le canton du Jura versera en main du conseil du recourant la somme de 1500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Jura, Cour criminelle.
Lausanne, le 18 octobre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Vallat