Faits: A. Le 2 novembre 2009, le Tribunal pénal de la Broye a reconnu X._ coupable d'actes d'ordre sexuel avec des enfants et d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance. Il l'a condamné à 18 mois de privation de liberté dont 9 mois avec sursis pendant 5 ans et astreint à suivre un traitement psychothérapeutique spécifique aux troubles de la préférence sexuelle de type pédophile, dont les modalités seront définies par le médecin-psychiatre traitant et pourront comprendre des stratégies d'évitement de confrontation directe avec des enfants. Le même jour, son épouse Y._ a été acquittée des préventions de complicité d'actes d'ordre sexuel avec des enfants, de complicité d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance ainsi que de lésions corporelles graves par négligence. Elle a été condamnée, pour violation du devoir d'assistance ou d'éducation, à 90 jours-amende avec sursis pendant trois ans et astreinte à un traitement psychologique ou psychiatrique d'orientation cognitive ou comportementale, dont les modalités seront définies par le médecin-psychiatre traitant et pourront comprendre un suivi de couple ainsi qu'un suivi social. X._ et Y._ ont, par ailleurs, été condamnés solidairement à verser à A._ 2000 fr. à titre d'indemnité pour tort moral et 500 fr. pour ses frais de constitution de partie civile. B. Le 31 janvier 2012, la Cour d'appel pénal du Tribunal cantonal fribourgeois a libéré Y._ de toute prévention, renvoyé au juge civil les prétentions civiles de A._ envers cette dernière et rejeté l'appel de X._, en confirmant le jugement rendu à son encontre. En résumé, il a été retenu que X._ avait commis, d'octobre au 21 décembre 2007, des attouchements sexuels répétés sur l'enfant A._, née le 25 novembre 2004, en lui caressant le sexe avec les doigts alors qu'elle était confiée à la garde de Y._. C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut, avec suite de dépens, à sa réforme dans le sens de son acquittement et du rejet des conclusions civiles, frais d'appel et d'instance fédérale à charge de l'Etat. Il requiert, par ailleurs, le bénéfice de l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures.