Faits:
A. Au mois de mai 2006, A._ s'est plainte d'avoir subi en 2002 des abus sexuels de la part de X._, le compagnon de sa mère. Elle demeurait, au moment où elle a formulé ses accusations, à l'Hôpital psychiatrique de Perreux. Elle y avait été admise dès le mois de février 2006, en raison de troubles du comportement liés à une consommation excessive d'alcool et de dérivés du cannabis.
Par jugement du 8 mai 2008, le Tribunal correctionnel du district de la Chaux-de-Fonds a reconnu X._ coupable de contraintes, d'actes d'ordre sexuel avec des enfants et de viols ainsi que de pornographie dure. Il a été condamné à quatre ans de privation de liberté.
B. Par arrêt du 11 juillet 2008, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le pourvoi interjeté par X._.
C. Ce dernier forme un recours en matière pénale contre cette décision. Il conclut principalement à son acquittement de tous les chefs d'accusation autres que celui de pornographie et au prononcé d'une nouvelle peine. A titre subsidiaire, il conclut à l'annulation de la décision entreprise et au renvoi de la cause à l'autorité cantonale. Il demande, par ailleurs, la restitution de l'effet suspensif et sa mise en liberté provisoire.
D. Par ordonnance du 14 octobre 2008, le Président de la cour de céans a constaté que la première requête était sans objet et a déclaré la seconde irrecevable.
Il n'a pas été ordonné d'échange d'écritures.
Par courrier du 28 janvier 2009, le conseil de X._ a encore produit une pièce.

Considérant en droit:
1. Le recours en matière pénale peut notamment être formé pour violation du droit fédéral (art. 95 let. a LTF), y compris les droits constitutionnels. Il ne peut critiquer les constatations de fait qu'aux conditions de l'art. 97 al. 1 LTF soit au motif que les faits ont été établis en violation du droit au sens de l'art. 95 LTF ou de façon manifestement inexacte, c'est-à-dire arbitraire (cf. <ref-ruling> consid. 1.2.2) et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Le recours doit être motivé (art. 42 al. 2 LTF). Les griefs d'ordre constitutionnel, ou liés à la violation du droit cantonal ou intercantonal, sont soumis à des exigences de motivation accrues (art. 106 al. 2 LTF), correspondant à celles qui résultaient de l'art. 90 al. 1 let. b OJ pour le recours de droit public (<ref-ruling> consid. 1.4 p. 287).
Suivant le principe de l'épuisement préalable des instances cantonales qui découle de l'art. 80 al. 1 LTF, le Tribunal fédéral n'examine, dans la règle, que les griefs constitutionnels qui, pouvant l'être, ont été présentés à l'autorité cantonale de dernière instance et les questions qui constituaient l'objet du litige devant l'autorité précédente. Il s'ensuit que le grief invoqué pour la première fois devant le Tribunal fédéral ne doit pas se confondre avec l'arbitraire.
2. Le recourant invoque tout d'abord la violation de son droit d'être entendu (art. 29 al. 2 Cst.). Il prétend n'avoir pu exercer ses droits de la défense en raison du dépôt par la victime de son journal intime la veille de l'audience de jugement.
Rien n'indique cependant que le recourant aurait pris des conclusions sur ce point ou signalé cette irrégularité au cours des débats devant le Tribunal correctionnel, ce qui constituait également une condition de recevabilité de ce grief devant la cour cantonale (art. 242 al. 2 CPP/NE). Or, conformément aux exigences déduites par la jurisprudence du principe de la bonne foi en procédure (cf. art. 5 al. 3 Cst.), la partie qui s'aperçoit qu'une règle de procédure est violée à son détriment ne saurait laisser la procédure suivre son cours sans réagir, dans le but, par exemple, de se réserver un moyen de nullité pour le cas où le jugement à intervenir ne la satisferait pas. Les manoeuvres dilatoires de cette sorte sont inadmissibles. Aussi la partie qui renonce sciemment à faire valoir la violation d'une règle de procédure devant un juge qui serait en mesure d'en réparer les conséquences est-elle en principe déchue du droit de se prévaloir de cette violation devant le Tribunal fédéral (<ref-ruling> consid. 2a p. 495). Le grief est irrecevable.
3. Le recourant reproche ensuite aux autorités cantonales d'avoir constaté de manière inexacte les faits pour lesquels il a été condamné. Les autorités cantonales auraient violé la maxime inquisitoire en n'ordonnant pas une expertise de crédibilité de la plaignante. Le fait de ne pas procéder à une telle expertise constituerait une application arbitraire du droit cantonal de procédure (art. 154 al. 2 CPP/NE). Les autorités cantonales auraient ignoré que la victime était hospitalisée dans un établissement psychiatrique en raison d'une consommation excessive d'alcool et de drogue au moment où elle a dénoncé les abus sexuels.
3.1 La maxime officielle ou maxime inquisitoire impose à l'autorité d'établir d'office les faits pertinents pour assurer une application correcte de la loi. L'autorité doit procéder à une administration et à une appréciation des preuves nécessaires, voire à de plus amples investigations, si elle conserve un doute quant au caractère complet et exact de l'état de fait résultant des preuves déjà administrées. Elle n'a en revanche pas à épuiser toutes les possibilités d'investigations si l'état de fait lui paraît suffisamment établi (cf. <ref-ruling> consid. 3.2.1 p. 413 et les arrêts cités; <ref-ruling> consid. 4a p. 52 et les références). La maxime inquisitoire ne constitue pas un principe de droit constitutionnel fédéral en tant que tel. Son étendue dépend du droit cantonal de procédure. Le Tribunal fédéral ne réexamine donc sa violation que sous l'angle de l'arbitraire (cf. arrêts du Tribunal fédéral du 10 novembre 2003 [6P.108/2003] consid. 1.2 et du 16 juillet 2001 [1P.208/2001] consid. 2b et les références).
Selon la jurisprudence, le juge est notamment fondé à recourir à l'expertise pour apprécier la capacité de témoigner ou la valeur des déclarations d'un témoin qui présente des particularités dans sa personne ou son développement, qu'il s'agisse d'enfants se disant victimes d'atteintes à leur intégrité sexuelle (<ref-ruling> consid. 2 p. 84) ou d'adultes (<ref-ruling> consid. 5 p. 58). La méthode d'analyse du témoignage, développée à l'origine par Undeutsch, s'est imposée (<ref-ruling> consid. 2 p. 85). Cette expertise, dite « de crédibilité » a pour objet la validité des déclarations. La crédibilité du déclarant ne constitue qu'un élément d'analyse et doit être clairement distinguée de la validité des déclarations (<ref-ruling> consid. 5; <ref-ruling> consid. 2). Exiger sans nuance et de manière quasi-automatique qu'une telle expertise soit ordonnée dès que les déclarations sont contestées, contiennent quelques imprécisions ou des contradictions mineures ou manquent de clarté sur des points secondaires serait contraire au principe de la libre appréciation des preuves (v. arrêts du Tribunal fédéral des 5 mars 2002 [1P.8/2002] consid. 4.3.1, 9 décembre 2005 [1P.453/2005] consid. 2.1). Il s'ensuit que l'autorité cantonale dispose, à cet égard, d'un pouvoir d'appréciation étendu.
3.2 Conformément à l'art. 154 al. 2 CPP/NE, le juge ordonne une expertise lorsque des connaissances spéciales sont nécessaires pour constater un fait essentiel pour le jugement de la cause.
Le recourant souligne que la jurisprudence cantonale reconnaît un large pouvoir d'appréciation au juge sur la question de l'opportunité de l'expertise. Dans la mesure où son grief d'arbitraire tend à démontrer un excès ou un abus de ce pouvoir d'appréciation, il se confond avec celui déduit de la violation de la maxime inquisitoire et peut dès lors être traité conjointement.
3.3 Il ressort de l'arrêt cantonal que le juge d'instruction en charge du dossier s'est adressé aux personnes qui avaient suivi la plaignante sur le plan médical « afin de savoir de quoi celle-ci souffrait et de déterminer si ses problèmes étaient susceptibles d'avoir une influence sur la véracité de ses dires » en vue d'ordonner, dans cette hypothèse, une expertise de crédibilité. Ces personnes (médecins et infirmières) ont, par la suite, été invitées, au moyen d'un questionnaire, à s'exprimer sur la crédibilité qu'ils avaient accordée aux révélations de la plaignante (arrêt entrepris, consid. 3, p. 8).
Une telle manière de procéder pourrait apparaître discutable, dans la mesure où elle reviendrait à soumettre la question de la véracité des déclarations - sans la distinguer clairement de celle de la crédibilité - à un ensemble d'intervenants ne disposant pas nécessairement des qualifications exigées d'un expert. Une telle démarche ne doit pas aboutir à éluder les exigences jurisprudentielles relatives à ce type de preuve. Quoi qu'il en soit, il ressort des réponses fournies par les deux médecins soumis à ce questionnaire que ces derniers, dont les compétences n'ont pas été discutées, se sont exprimés essentiellement sur la crédibilité de la victime. Ainsi, le docteur B._, qui s'est occupé de la plaignante durant son hospitalisation d'avril à septembre 2006 a accordé une entière crédibilité à sa patiente (arrêt entrepris, consid. 3 p. 9). De même, le docteur C._, qui l'a suivie du 6 février à début mai 2006 a-t-il précisé n'avoir jamais observé d'éléments délirants ou d'hallucinations qui pourraient réduire la crédibilité de son récit (arrêt entrepris, ibidem). Ces éléments permettaient ainsi, sans arbitraire, de constater que les circonstances dans lesquelles la victime a formulé ses accusations - que la cour cantonales n'a pas ignorées (v. arrêt entrepris, consid. 3, p. 8) - ne dénotaient pas l'existence de particularités dans sa personne ou son développement justifiant la mise en oeuvre d'une expertise.
3.4 Le recourant conteste encore la valeur probante des réponses données à ce questionnaire en raison de la relation de confiance existant entre le patient et le personnel soignant.
Cet argument se heurte toutefois à l'objection que, par sa formation, un thérapeute est en principe à même de conserver de la distance par rapport à son patient et l'objectivité que requiert le succès du traitement (arrêt du Tribunal fédéral du 2 décembre 2005 [1P.573/ 2005] consid. 1.4.2). Au demeurant, au moment où ils ont été interrogés, ces soignants ne traitaient plus la plaignante depuis plusieurs mois. Ils n'avaient plus aucune relation avec elle et aucun élément du dossier ne permet de douter de leur objectivité. Le grief est infondé.
3.5 La cour cantonale a, par surabondance, justifié le refus d'une telle expertise au motif que le recourant n'avait jamais demandé formellement cette mesure d'instruction. Le recourant y voit une autre violation de la maxime inquisitoire.
Dans la mesure où, comme on l'a vu, le refus d'ordonner cette expertise était également justifié par d'autres motifs dénués d'arbitraire, il n'est pas nécessaire d'examiner plus avant cette question.
4. Le recourant soutient, dans un dernier grief, que sa condamnation violerait la présomption d'innocence.
4.1 Il expose invoquer la présomption d'innocence et le principe in dubio pro reo en relation avec l'appréciation portée par les autorités cantonales sur différents indices qui ont motivé leur choix de retenir la version des faits de la victime plutôt que celle du recourant. Il souligne sur ce point ne pas contester ces faits en tant que tels, mais leur valeur probante. Il argumente ainsi, quoi qu'il en dise, sur l'appréciation portée par les autorités cantonales au sujet des déclarations de la victime, soit sur l'appréciation des preuves. Ce grief se confond avec celui déduit de la prohibition de l'arbitraire (<ref-ruling> consid. 2a p. 88; <ref-ruling> consid. 2e p. 38).
4.2 La cour cantonale a jugé que ces mêmes critiques formulées par le recourant à l'appui de son pourvoi cantonal étaient de nature purement appellatoire, dès lors qu'il se bornait à avancer sa propre interprétation des éléments du dossier, sans démontrer en quoi celle retenue par les juges de première instance devrait être qualifiée d'arbitraire (arrêt entrepris, consid. 6, p. 12). Le recourant n'adresse, à ce sujet, aucun reproche d'ordre formel à la cour cantonale pour n'avoir pas examiné son argumentation. Il n'invoque pas, en particulier, son droit d'être entendu, notamment le droit à une motivation suffisante. Il n'y a dès lors pas lieu d'examiner la question sous cet angle (art. 106 al. 2 LTF). Faute d'avoir valablement soulevé ce moyen en procédure cantonale, le recourant ne démontre pas avoir épuisé les instances cantonales. Ce grief d'arbitraire est irrecevable (v. supra consid. 1).
4.3 Le recourant a encore produit, par courrier du 28 janvier 2009, un document. Ce moyen de preuve n'a pas été soumis aux autorités cantonales. Il est nouveau au sens de l'art. 99 al. 1 LTF. Cette disposition n'autorise que l'allégation de faits nouveaux et l'offre de preuves nouvelles devant le Tribunal fédéral dans les cas où c'est la décision de l'autorité précédente qui justifie pour la première fois de soulever ces moyens. Cette condition n'est pas donnée en l'espèce, dès lors que par sa production le recourant tente de remettre en question l'appréciation portée par le premier juge sur les déclarations de la victime. Cette preuve pourrait tout au plus, le cas échéant, constituer un moyen de révision au sens de l'art. 385 CP. Au demeurant, le Tribunal fédéral n'examine les nova, mêmes admissibles au regard de l'art. 99 al. 1 LTF, que s'ils ont été invoqués dans le délai de recours ou que leur production puisse être justifiée par un deuxième échange d'écritures (YVES DONZALLAZ, Loi sur le Tribunal fédéral, commentaire, 2008, n. 4062, p. 1477; sur la pratique antérieure à l'entrée en vigueur de la LTF: <ref-ruling> consid. 1 p. 408, 105 Ib 37 consid. 2 p. 40). La preuve est irrecevable et ne permet donc pas de remettre en cause les constatations de fait de l'arrêt entrepris.
5. Le recourant succombe. Il supporte les frais de la procédure (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2000 francs, sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour de cassation pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 19 février 2009
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Le Greffier:
Favre Vallat