Faits:
A. Le 2 novembre 2009, le Tribunal pénal de la Broye a reconnu X._ coupable d'actes d'ordre sexuel avec des enfants et d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance. Il l'a condamné à 18 mois de privation de liberté dont 9 mois avec sursis pendant 5 ans et astreint à suivre un traitement psychothérapeutique spécifique aux troubles de la préférence sexuelle de type pédophile, dont les modalités seront définies par le médecin-psychiatre traitant et pourront comprendre des stratégies d'évitement de confrontation directe avec des enfants. Le même jour, son épouse Y._ a été acquittée des préventions de complicité d'actes d'ordre sexuel avec des enfants, de complicité d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance ainsi que de lésions corporelles graves par négligence. Elle a été condamnée, pour violation du devoir d'assistance ou d'éducation, à 90 jours-amende avec sursis pendant trois ans et astreinte à un traitement psychologique ou psychiatrique d'orientation cognitive ou comportementale, dont les modalités seront définies par le médecin-psychiatre traitant et pourront comprendre un suivi de couple ainsi qu'un suivi social. X._ et Y._ ont, par ailleurs, été condamnés solidairement à verser à A._ 2000 fr. à titre d'indemnité pour tort moral et 500 fr. pour ses frais de constitution de partie civile.
B. Le 31 janvier 2012, la Cour d'appel pénal du Tribunal cantonal fribourgeois a libéré Y._ de toute prévention, renvoyé au juge civil les prétentions civiles de A._ envers cette dernière et rejeté l'appel de X._, en confirmant le jugement rendu à son encontre.
En résumé, il a été retenu que X._ avait commis, d'octobre au 21 décembre 2007, des attouchements sexuels répétés sur l'enfant A._, née le 25 novembre 2004, en lui caressant le sexe avec les doigts alors qu'elle était confiée à la garde de Y._.
C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut, avec suite de dépens, à sa réforme dans le sens de son acquittement et du rejet des conclusions civiles, frais d'appel et d'instance fédérale à charge de l'Etat. Il requiert, par ailleurs, le bénéfice de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant invoque l'interdiction de l'arbitraire (art. 9 Cst.), une violation de la présomption d'innocence et du principe in dubio pro reo (art. 32 al. 1 Cst. et 4 al. 2 CPP/FR) ainsi que la violation des art. 42, 63, 187 et 191 CP.
2. Dans le recours en matière pénale, les faits constatés par l'autorité précédente lient le Tribunal fédéral (<ref-law>), à moins qu'ils n'aient été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, c'est-à-dire de façon arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2 p. 62; sur la notion d'arbitraire, cf. <ref-ruling> consid. 2.4 p. 5, 58 consid. 4.1.2 p. 62). Le Tribunal fédéral n'examine les moyens fondés sur la violation d'un droit constitutionnel que s'ils ont été invoqués et motivés de manière précise (<ref-law>). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2.3 p. 5).
Bien que reprochant une fois dans son recours à la cour cantonale d'avoir renversé le fardeau de la preuve, le recourant ne discute, en réalité, à l'appui de tous ses griefs relatifs à l'établissement des faits, que l'appréciation des preuves sous l'angle de l'arbitraire. Les griefs d'arbitraire et de violation du principe in dubio pro reo, tels qu'ils sont motivés en l'espèce, n'ont pas de portée distincte (cf. <ref-ruling> consid. 2a p. 41).
2.1 Les premiers juges, suivis par la cour cantonale, ont forgé leur conviction sur un faisceau d'indices: les révélations spontanées, non équivoques et dépourvues d'influence de l'enfant, les propos mesurés et objectifs de la mère de la fillette, les propres aveux du recourant lors de son audition par la police le 23 avril 2008, ses rétractations et ses contradictions dans ses auditions ultérieures, ses antécédents (condamnation en 1998 pour acte d'ordre sexuel avec une fillette de 5 ans) et les accusations d'abus sexuels exprimées par les nièces du recourant pour des faits aujourd'hui prescrits (arrêt entrepris, p. 6 et 7). L'expertise psychiatrique du recourant ou le rapport médical de gynécologie du CHUV ne font pas partie des indices ayant fondé la condamnation du recourant. Les critiques adressées à leur encontre par ce dernier, qui conteste que ces deux moyens de preuve aient pu fonder sa culpabilité, n'ont pas à être examinées. Quoi qu'il en soit, aucune appréciation arbitraire de ces éléments n'est établie.
2.2 S'agissant des quatre indices ayant forgé la conviction des premiers juges, la cour cantonale a procédé à un nouvel examen des trois premiers (arrêt entrepris, p. 7 à 10) à la lumière des griefs soulevés par le recourant (contestation de ses aveux; discussion sur le crédit à accorder aux déclarations de l'enfant à sa mère en raison de son jeune âge, d'extraits du rapport d'audition de la psychologue et d'une influence de la mère qui lui aurait posé un grand nombre de questions). La cour cantonale a également tenu ces indices pour convaincants.
Le recourant ne démontre pas en quoi l'appréciation faite par la cour cantonale serait arbitraire. Il se limite à reprendre, pour l'essentiel, son mémoire cantonal ou à affirmer que l'arrêt cantonal est arbitraire en lui opposant sa propre appréciation des preuves. Une telle argumentation, de nature appellatoire, est irrecevable (v. supra consid. 2).
2.3 En ce qui concerne les accusations d'abus sexuels, aujourd'hui prescrits, émises par les nièces du recourant et que ce dernier conteste, il a été admis en première instance qu'ajoutées aux autres indices, elles confirmaient les soupçons de culpabilité. Le recourant ne s'en est pas pris à cette partie du premier jugement en appel. Il s'est limité à contester la prise en compte de telles accusations en tant qu'antécédents dans la fixation de la peine. Cela explique que la cour cantonale ne s'est pas prononcée sur l'appréciation de cet élément à la base de la culpabilité, ce qui exclut que la cour de céans le fasse, faute d'épuisement des instances cantonales (<ref-law>). Au demeurant, la similitude des faits dénoncés, quand bien même l'action pénale était prescrite et les faits contestés par le recourant, pouvait être retenue comme un élément parmi d'autres pour conclure à la culpabilité du recourant, sans qu'une telle manière de procéder puisse conduire à qualifier d'insoutenable l'appréciation globale des preuves qui a été faite.
Quant au rôle des accusations des nièces du recourant dans la fixation de la peine, l'autorité cantonale relève que seuls les antécédents judiciaires en matière d'infractions contre les moeurs ont été pris en compte (arrêt entrepris, p. 13). Cela rend vaines les critiques du recourant.
2.4 Enfin, l'arrêt cantonal expose pourquoi il admet que le recourant a agi à plusieurs reprises et analyse les griefs que ce dernier oppose à cette appréciation (arrêt entrepris p. 9 et 10). Le recourant se contente de reprendre ses critiques. Cette argumentation ne répond pas aux exigences rappelées ci-dessus (consid. 2).
3. Le recourant conteste que son comportement puisse être qualifié d'acte d'ordre sexuel. Il invoque une fausse application des art. 187 ch. 1 et 191 CP. Affirmant qu'ayant eu un seul geste sur l'enfant il n'avait aucune intention sexuelle, il s'écarte de manière inadmissible (<ref-law>) des faits constatés. Son grief est irrecevable.
4. Le recourant conteste le refus du sursis complet.
4.1 Lorsque la peine privative de liberté est d'une durée telle qu'elle permette le choix entre le sursis complet (<ref-law>) et le sursis partiel (<ref-law>), soit entre un et deux ans au plus, l'octroi du sursis au sens de l'art. 42 est la règle et le sursis partiel l'exception. Cette dernière ne doit être admise que si, sous l'angle de la prévention spéciale, l'octroi du sursis pour une partie de la peine ne peut se concevoir que moyennant exécution de l'autre partie. La situation est comparable à celle où il s'agit d'évaluer les perspectives d'amendement en cas de révocation du sursis (<ref-ruling>). Lorsqu'il existe - notamment en raison de condamnations antérieures - de sérieux doutes sur les perspectives d'amendement de l'auteur, qui ne permettent cependant pas encore, à l'issue de l'appréciation de l'ensemble des circonstances, de motiver un pronostic concrètement défavorable, le tribunal peut accorder un sursis partiel au lieu du sursis total. On évite de la sorte, dans les cas de pronostics très incertains, le dilemme du « tout ou rien ». L'<ref-law> permet alors que l'effet d'avertissement du sursis partiel autorise, compte tenu de l'exécution partielle ordonnée simultanément, un pronostic largement plus favorable pour l'avenir (<ref-ruling> consid. 5.5.2 p. 14 s.).
4.2 Le recourant soutient qu'il aurait dû bénéficier d'un sursis complet. Il reproche à l'autorité cantonale de ne pas avoir étayé de manière crédible son choix de n'octroyer que le sursis partiel et d'avoir tenu compte de manière trop importante d'une ancienne condamnation du même ordre. Il expose que l'exécution partielle de la peine privative de liberté n'est en rien indispensable pour améliorer ses perspectives d'amendement, souligne l'absence d'antécédent dans les cinq ans qui précèdent et se réfère aux considérations de l'expert.
L'arrêt cantonal n'a pas ignoré que lorsque la peine se situe, comme en l'espèce, entre un et deux ans, le sursis partiel reste l'exception. La cour cantonale a clairement exposé les motifs à la base de sa décision (arrêt attaqué, p. 15 et 16). Elle a considéré que les infractions pour lesquelles le recourant est condamné démontrent que, en l'absence de prise en charge adéquate et faute pour le recourant d'admettre la réalité des faits, le risque de récidive et de passage à l'acte est avéré. L'expertise met en évidence un probable trouble des préférences sexuelles de type pédophile présent dès l'âge adulte. Ce trouble non soigné constitue un risque persistant de fixer des envies sexuelles sur des enfants pré-pubères, voire d'âge préscolaire, avec la possibilité, en l'absence de traitement, de voir ce trouble du comportement prendre une forme plus dangereuse, telle que la recherche active d'entretenir des relations sexuelles, même complètes, avec des enfants. L'expert parle de risque moyen de commission de nouveaux passages à l'acte de type pédophile, augmenté en raison de la probable multiplicité des passages à l'acte et d'une attitude de déni quasi-complet. Sur cette base, l'autorité cantonale a retenu que le pronostic est, au mieux, mitigé et qu'une véritable amélioration ne pourra intervenir qu'après l'instauration d'un traitement psychothérapeutique adapté. L'environnement du recourant n'offre pas de cautèles suffisantes et ce dernier n'a aucune prise de conscience, de telle sorte que la probabilité d'un nouveau passage à l'acte n'est freinée que par la capacité du recourant à se retenir et certaines stratégies d'évitement, comme l'interdiction faite à son épouse de garder des enfants à leur domicile. Une peine privative de liberté, en partie ferme, s'impose, ne serait-ce que pour amener le recourant à réfléchir sur ses actes et sur la nécessité de s'ouvrir à une thérapie.
Le raisonnement suivi par la cour cantonale est suffisamment motivé et ne prête pas le flanc à la critique. En cas de doutes au sujet du comportement futur de l'auteur, le juge peut octroyer le sursis partiel en lieu et place d'un sursis total. L'arrêt cantonal n'a pas ignoré que la condamnation prononcée en 1998 était ancienne. Que le recourant conteste avoir commis les faits à la base de cette condamnation ne lui est pas particulièrement favorable quant à sa prise de conscience et du pronostic à poser. Que, s'agissant de la présente procédure, son déni soit une manifestation du trouble psychique diagnostiqué par l'expert n'empêche pas qu'il en soit tenu compte dans l'examen d'un sursis partiel. Enfin, le recourant n'est pas admis à opposer sa propre appréciation de l'expertise à celle retenue dans l'arrêt attaqué, à moins de démontrer l'arbitraire de cette dernière, ce qu'il ne fait pas. Sur la base des éléments retenus par la cour cantonale, dont elle pouvait tenir compte sans violer le droit fédéral, on ne discerne pas en quoi cette dernière aurait excédé ou outrepassé son pouvoir d'appréciation. Le grief est rejeté, dans la mesure où il est recevable.
5. Dans la partie de son recours consacrée au refus du sursis complet, le recourant semble reprocher à la cour cantonale de ne pas avoir retenu la circonstance atténuante du temps relativement long qui s'est écoulé depuis les faits pour lesquels il a été condamné en 1998. Cependant, comme le relève la cour cantonale, c'est bien le temps qui s'est déroulé depuis les faits incriminés qui doit être pris en considération. En admettant que l'ancienneté des faits (2007) ne justifie pas une diminution de la peine fondée sur l'art. 48 let. e CP, la prescription de l'action pénale étant loin d'être acquise, l'arrêt attaqué ne viole pas le droit fédéral.
6. Le recourant se plaint d'une violation de l'<ref-law>.
6.1 D'après l'<ref-law>, lorsque l'auteur souffre d'un grave trouble mental, est toxico-dépendant ou qu'il souffre d'une autre addiction, le juge peut ordonner un traitement ambulatoire au lieu d'un traitement institutionnel, si l'auteur a commis un acte punissable en relation avec son état (let. a) et s'il est à prévoir que cette mesure le détournera de nouvelles infractions en relation avec son état (let. b). L'al. 2 de cette disposition précise que le juge peut suspendre l'exécution d'une peine privative de liberté ferme prononcée en même temps que le traitement ambulatoire si la peine n'est pas compatible avec ce dernier. Même lorsque sont réunies les conditions permettant de suspendre l'exécution de la peine, la loi n'impose pas au juge de le faire, mais lui en offre la possibilité, laissant à son appréciation la décision d'user ou non de cette faculté, de sorte que le Tribunal fédéral n'intervient qu'en cas d'excès ou d'abus du pouvoir d'appréciation (cf. <ref-ruling> consid. 2b p. 248 s.). La suspension de la peine au bénéfice d'un traitement ambulatoire a ainsi un caractère exceptionnel et doit reposer sur une justification particulière (cf. <ref-ruling> consid. 4.1 et 4.3 p. 162 s. et 165; en application du nouveau droit: v. arrêts 6B_141/2009 du 24 septembre 2009 consid. 4 et 6B_807/2010 du 7 juillet 2011 consid. 4.1).
6.2 En l'espèce, le recourant estime qu'il aurait été adéquat de suspendre la peine ferme prononcée étant donné que le seul antécédent en sa défaveur est vieux de plus de 13 ans, qu'il a été interdit à son épouse de garder des enfants et que selon l'expertise l'instauration d'un traitement ambulatoire est possible et devrait permettre une diminution significative du risque de récidive, ce dont la cour cantonale n'aurait pas suffisamment tenu compte. Cette dernière ne pouvait s'écarter des conclusions de l'expert qui se prononce pour une suspension de la peine au profit d'un traitement ambulatoire. Elle aurait dû admettre la nécessité de faire prévaloir les soins ambulatoires pour offrir de bonnes chances de resocialisation contrairement à l'exécution d'une peine privative de liberté qui pourrait la compromettre. En revanche, le recourant ne conteste pas que les autorités cantonales disposaient de renseignements médicaux suffisants et ne remet pas en cause le traitement ambulatoire ordonné.
6.3 Il ressort de l'arrêt attaqué que le recourant est au bénéfice d'une retraite anticipée et qu'il n'exerce plus d'activité lucrative, de telle sorte que la peine ferme prononcée de 9 mois ne pourra guère compromettre sa resocialisation. Le recourant ne saurait s'écarter des faits constatés, ni remettre en question l'appréciation des preuves, notamment celle de l'expertise, à moins de démontrer que cette appréciation est arbitraire, ce qu'il ne fait pas. A dire d'expert, le traitement ambulatoire ordonné contre la volonté du recourant, bien qu'il ne le conteste plus dans la présente procédure, ne permettra d'obtenir une diminution du risque de récidive qu'à moyen ou long terme. Sous forme d'entretiens psychothérapeutiques, le traitement est compatible avec la détention et devra débuter dès que possible, soit déjà dans le cadre de l'exécution de la peine privative de liberté (arrêt entrepris, p. 17). Quant à la peine ferme prononcée, elle a pour but, au vu du manque de motivation du recourant à suivre un traitement et de son attitude de déni, de l'amener à réfléchir à ses actes et à la nécessité de s'ouvrir à une thérapie. Partant, compte tenu de ces différents éléments, la décision prise par l'autorité cantonale d'ordonner un traitement ambulatoire et de renoncer à la suspension de la peine ne procède ni d'un abus, ni d'un excès de son pouvoir d'appréciation. Le grief est rejeté, dans la mesure où il est recevable.
7. Le recours était d'emblée dénué de chances de succès. L'assistance judiciaire doit être refusée (<ref-law>). Le recourant succombe. Il supporte les frais de la procédure, qui seront fixés en tenant compte de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens aux intimés (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1600 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, Cour d'appel pénal.
Lausanne, le 13 juillet 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Vallat