Faits:
A. Par jugement du 3 juillet 2008, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a condamné X._ pour actes d'ordre sexuel avec des enfants, contrainte sexuelle et tentative de viol à une peine privative de liberté de 18 mois. L'exécution de cette peine a été suspendue avec un délai d'épreuve de deux ans. X._ a, en outre, été condamné à payer aux deux victimes, Z._ et A.Y._, la somme de 8000 fr. chacune, à titre d'indemnité pour tort moral.
B. Par arrêt du 16 septembre 2008, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours du condamné et confirmé le jugement de première instance. Les faits à la base de cette décision sont les suivants.
B.a Alors que Z._ travaillait notamment comme baby-sitter auprès de la famille de X._ et dans le tea-room que ce dernier exploitait, celui-ci l'a caressée sur les seins et sur le sexe tantôt à même la peau et tantôt à travers l'étoffe des habits, à réitérées reprises, entre 1994 et 1997. Z._ était âgée de moins de 16 ans. Faute de pouvoir être plus précis, les premiers juges ont retenu que de tels attouchements avaient été fréquents et que le recourant avait agi dès qu'il en avait l'occasion.
B.b Alors que A.Y._ était âgée de 17 ans, le 31 décembre 1994, lors d'une soirée de réveillon organisée par les époux X._, X._ lui a demandé de l'accompagner au sous-sol du tea-room pour l'aider à ramener des bouteilles et a commencé à la toucher, mais la jeune femme l'a repoussé. Plus tard dans la soirée, X._ a accompagné sa victime, qui était montée dans l'appartement des époux X._ pour s'occuper de leur fils. Il a ouvert le pantalon de la jeune fille, lui a dit qu'elle avait intérêt à se laisser faire, lui a mis une main dans le slip et lui a touché le sexe. Sur l'insistance de sa victime, il a finalement cessé ses agissements. Toujours le même soir, le père de A.Y._ a demandé à celle-ci d'accompagner X._ à leur domicile pour aller chercher des boissons. L'intéressée a dû y aller vu l'insistance de son père. Dans la voiture, X._ a commis de nouveaux attouchements sur la jeune femme qui était assise à côté de lui. Arrivés au domicile et alors qu'elle téléphonait pour dire que les boissons étaient introuvables, X._ lui a baissé son pantalon avant de frotter son sexe sur les fesses de la jeune femme. Lorsque cette dernière a raccroché le téléphone, X._ a tenté à plusieurs reprises de la pénétrer, d'abord de face, puis par derrière, sans parvenir à ses fins. Finalement, il s'est masturbé, avant d'éjaculer sur la plaignante. Quelques jours plus tard, profitant d'être seul dans le tea-room avec A.Y._, X._ s'est placé derrière elle pour lui caresser les seins.
C. X._ forme un recours en matière pénale contre l'arrêt de la Cour de cassation pénale du Tribunal cantonal vaudois. Il conclut à son annulation ainsi qu'à celle du jugement de première instance et au renvoi de la cause pour nouveau jugement.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Saisi d'un recours en matière pénale, le Tribunal fédéral ne réexamine l'établissement des faits - sous réserve de la violation du droit au sens de l'<ref-law> - que lorsqu'il est entaché d'inexactitude manifeste (<ref-law>), soit d'arbitraire (<ref-ruling> consid. 1.4.1, p. 39). Une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou encore heurte de manière choquante le sentiment de la justice et de l'équité. Il ne suffit pas que sa motivation soit insoutenable; encore faut-il que la décision apparaisse arbitraire dans son résultat. A cet égard, le Tribunal fédéral ne s'écarte de la solution retenue que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motif objectif ou en violation d'un droit certain. Il n'y a pas arbitraire du seul fait qu'une autre solution paraît également concevable voire même préférable (<ref-ruling> consid. 5.4 et les arrêts cités, p. 148, 129 I 8 consid. 2.1 p. 9). En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.1 p. 9).
2. Le recourant a contesté en instance cantonale qu'il puisse être retenu, sur la base de ses aveux ou des accusations de Z._, que les attouchements commis sur cette dernière avaient été fréquents et qu'il avait agi dès qu'il en avait eu l'occasion. La cour cantonale a précisé que c'était en vain que le recourant se référait aux déclarations faites par la victime en cours d'enquête car les procès-verbaux d'audition ne constituaient pas des pièces susceptibles d'étayer des moyens de nullité, sauf si les premiers juges se fondaient expressément sur les déclarations faites durant l'enquête, ce qui n'était pas le cas en l'espèce.
2.1 Le recourant se prévaut tout d'abord de l'art. 6 CEDH qui consacre le droit à un procès équitable. Il prétend déduire de cette disposition que le juge doit avoir une libre et totale appréciation des preuves. Il voit une violation de ce principe dans le fait que l'autorité de cassation a refusé de tenir compte des déclarations faites par Z._ en cours d'enquête.
2.1.1 La décision de la cour cantonale est fondée sur ce point sur le droit de procédure pénale cantonale (art. 411 let. h et i CPP/VD; v. notamment BOVAY et al., Procédure pénale vaudoise, 3e éd. 2008, art. 411 CPP, n. 11.5 et la jurisprudence citée). Or, le recourant n'invoque pas et ne motive pas que l'application ou l'interprétation donnée par l'autorité inférieure de ce droit serait arbitraire. Le Tribunal fédéral n'a pas à examiner la cause sous cet angle (<ref-law>).
2.1.2 Le seul droit fondamental que le recourant invoque dans ce contexte est celui consacré par l'art. 6 par. 3 let. d. CEDH.
Aux termes de cette disposition, tout accusé a le droit d'interroger ou de faire interroger les témoins à charge et d'obtenir la citation et l'interrogatoire des témoins à décharge dans les mêmes conditions que les témoins à charge. Ce droit découle aussi de l'art. 29 Cst. (cf. pour la jurisprudence relative à l'art. 4 aCst.: <ref-ruling> consid. 6b p. 132/133; <ref-ruling> consid. 5b p. 284).
En l'espèce, le recourant ne soutient pas qu'il n'aurait pas été mis en mesure d'interroger ou faire interroger des témoins à charge puisqu'il entend, au contraire, remettre en cause l'appréciation portée par les premiers juges sur les déclarations d'une personne entendue à l'audience de jugement, en se prévalant du contenu de procès-verbaux d'audition établis durant la phase d'instruction. Il s'en prend, de la sorte, à l'appréciation des preuves et ne peut, dès lors, rien déduire en sa faveur de la disposition conventionnelle qu'il invoque.
2.1.3 On ne voit pas non plus en quoi l'arrêt attaqué porterait atteinte au principe de la libre appréciation des preuves. Ce principe s'impose en effet au juge du fait, soit aux juges de première instance dans le canton de Vaud. La cour cantonale n'est, en revanche, qu'une autorité de cassation, qui comme la cour de céans, ne revoit l'appréciation des faits et des preuves que sous l'angle de l'arbitraire (cf. supra consid. 1). Or, la cour cantonale n'a pas, à priori, dénié toute valeur probante à la preuve constituée par les procès-verbaux d'audition (cf. <ref-ruling> consid. 2.1 p. 36). Elle n'a, en effet pas dit que les premiers juges ne pouvaient pas se référer à ces documents. Elle a seulement précisé qu'ils ne l'avaient pas fait, en l'espèce, sur la question de la fréquence des agissements du recourant, et que dans cette hypothèse, le recourant ne pouvait pas invoquer le contenu de ces mêmes procès-verbaux à l'appui d'un moyen de nullité en procédure de deuxième instance. Le grief est infondé.
2.2 Le recourant reproche encore à la cour cantonale d'avoir, ce faisant, péché par excès de formalisme.
On peut rappeler, sur ce point, que selon la jurisprudence, toute exigence de procédure de nature formelle ne procède pas d'un formalisme excessif. Tel n'est le cas que si l'exigence n'est plus justifiée par un intérêt digne de protection et constitue une fin en soi. Les exigences de forme sont indispensables au bon déroulement de la procédure et garantissent l'application du droit matériel (<ref-ruling> consid. 2.4.2 p. 248; <ref-ruling> consid. 4 p. 315; <ref-ruling> consid. 3 p. 40).
Or, la pratique de la cour cantonale repose sur le principe de l'immédiateté des preuves. En d'autres termes, on considère que lorsque le juge du fait a fondé son appréciation sur les déclarations d'un témoin entendu à l'audience, la seule circonstance que les faits ainsi établis ne correspondent pas exactement au contenu de déclarations antérieures ne suffit pas à faire naître des doutes sur les déclarations orales que le juge a pu apprécier, respectivement sur les faits qu'il en a retenus. Cette approche n'est pas critiquable dans la mesure où la partie qui conteste le témoignage dispose, de son côté, de la possibilité d'interroger le témoin sur d'éventuelles divergences et, le cas échéant, de faire porter au procès-verbal de l'audience les nouvelles déclarations du témoin et ses explications sur les divergences en question (cf. infra consid. 2.3.1). Cela étant, il suffit de constater que la jurisprudence cantonale est justifiée par un intérêt digne de protection puisqu'il s'agit en définitive, dans une voie de recours de type cassatoire, de garantir, dans les limites de l'arbitraire, le pouvoir d'appréciation du juge du fait.
2.3 Le recourant se plaint de ce que les déclarations de Z._, ainsi que de différents témoins, n'ont pas été portées au procès-verbal des débats, faute de requête de sa part, à l'audience de jugement, ce qu'il considère comme une violation de son droit d'être entendu et de la CEDH.
2.3.1 En procédure pénale vaudoise, les débats sont oraux (art. 325 CPP/VD). Il n'est pas prévu de verbalisation des déclarations faites aux débats par une partie ou un témoin (cf. art. 339 CPP/VD). Toutefois, lorsque des difficultés surgissent au sujet de la procédure des débats, chaque partie a la faculté d'agir par voie incidente (art. 361 CPP/VD), en dictant ses observations et ses conclusions au procès-verbal ou en les déposant par écrit (art. 362 al. 1 CPP/VD). Le cas échéant, les parties sont entendues sur les conclusions incidentes (art. 362 al. 2 CPP/VD). Le tribunal délibère immédiatement à huis-clos, puis rend, en séance publique, une décision motivée, à moins que l'instruction de l'incident exige qu'il renvoie sa décision, auquel cas il peut soit reprendre l'instruction principale, soit renvoyer les débats (art. 363 CPP/VD). La décision par laquelle le tribunal rejette des conclusions incidentes peut faire l'objet d'un recours en nullité auprès de la Cour de cassation pénale, lorsque ce rejet a été de nature à influer sur la décision attaquée (art. 411 let. f CPP/VD).
2.3.2 Selon la jurisprudence, le droit d'être entendu garanti par l'art. 29 al. 2 Cst. implique le droit pour les parties à une procédure pénale d'obtenir que les déclarations de parties, témoins ou experts, qui sont importantes pour l'issue du litige, soient consignées dans un procès-verbal. Ce droit vise à leur permettre de participer à l'administration des preuves et, surtout, de se déterminer sur leur résultat. Il tend également à permettre à l'autorité de recours d'exercer son contrôle (<ref-ruling> consid. 2a/aa p. 16 s.). Cette même jurisprudence précise cependant que le droit d'être entendu est respecté si la partie qui le souhaite a la possibilité de requérir en tout temps, par voie incidente, la retranscription de déclarations importantes et de recourir contre un éventuel refus, comme le prévoit le droit de procédure pénale vaudois (<ref-ruling> consid. 2b/aa et bb non publiés). Cette jurisprudence, qui répond à l'ensemble des critiques formulées par le recourant, a été confirmée dans plusieurs arrêts non publiés (6P.15/2003 du 6 mai 2003; 1P.496/2005 du 14 octobre 2005; 6P.55/2007 du 18 juin 2007; 6P.67/2007 du 12 octobre 2007; 6P.153/2006 du 29 avril 2008) concernant également des affaires vaudoises. Le recourant n'invoque aucun argument nouveau qui justifierait de réexaminer cette pratique. Le grief est infondé.
2.4 Le recourant reproche encore à la cour cantonale une violation de son droit d'être entendu et de son droit à un procès équitable par le fait d'avoir arbitrairement admis que le jugement de première instance était suffisamment motivé sur la question de la fréquence de ses agissements à l'encontre de Z._.
L'arrêt cantonal expose cependant clairement les moyens de preuve sur lesquels repose la décision de première instance. La cour cantonale a relevé que la conviction des premiers juges avait été forgée sur les déclarations de la victime en audience, auxquelles ils ont déclaré accorder foi, déclarations que la cour cantonale n'a pas pu vérifier, faute pour le recourant d'avoir demandé qu'elles soient portées au procès-verbal. La cour cantonale a encore relevé que la victime avait adhéré à la proposition du Ministère public de modifier l'ordonnance de renvoi en ce qui concerne la fréquence des agissements du recourant en remplaçant les termes « à plusieurs reprises » par « à réitérées reprises ». Ces développements sont suffisants pour permettre au recourant de comprendre les raisons de sa condamnation et l'on ne voit pas en quoi l'arrêt attaqué consacrerait une violation de son droit d'être entendu ou une violation de son droit à un procès équitable, ce qu'il ne démontre d'ailleurs pas.
2.5 Prise dans son ensemble, l'argumentation du recourant a, en réalité, trait à l'appréciation portée par les premiers juges sur la question de la fréquence des attouchements commis sur Z._.
2.5.1 Le recourant invoque, en particulier, une violation de la présomption d'innocence et du principe in dubio pro reo consacrés par les art. 32 al. 1 Cst. et 6 par. 2 CEDH. Il prétend que s'il était impossible pour les premiers juges de quantifier exactement les attouchements commis, ceux-ci ne pouvaient être retenus.
2.5.2 Cependant, même s'il était impossible pour l'autorité de première instance de préciser exactement le nombre des épisodes d'attouchements, il n'était pas insoutenable de déduire des propos de la victime en audience que les actes d'ordre sexuel commis par le recourant étaient fréquents et que ce dernier agissait dès qu'il en avait l'occasion, sans fixer le nombre exact d'attouchements.
Au demeurant, selon le recourant, la victime aurait déclaré dans le cadre de l'instruction qu'elle aurait subi des attouchements de la part du recourant une vingtaine de fois (Mémoire de recours, p. 8,9). Or, ce seul élément, ne permet pas de taxer d'arbitraire l'appréciation de ces mêmes juges sur les déclarations faites par l'intéressée en cours d'audience, que le recourant n'a pas pris la peine de faire porter au procès-verbal. On ne saurait dès lors reprocher à la cour cantonale d'avoir admis qu'il n'y avait pas d'éléments suffisants pour considérer que l'appréciation des premiers juges était arbitraire.
Ainsi et au vu de ce qui précède, les griefs du recourant relatifs à la fréquence des attouchements sur Z._ ne peuvent qu'être rejetés dans la mesure où ils sont recevables.
2.6 Le recourant se plaint encore d'une violation du principe in dubio pro reo et d'arbitraire dans l'appréciation des faits qui lui sont reprochés s'agissant de Z._. Il prétend que les juges cantonaux auraient ignoré une contradiction majeure dans les déclarations de la victime. Il invoque aussi les circonstances dans lesquelles sont intervenus ses propres aveux sur une partie des faits.
2.6.1 Le recourant argumente, de la sorte, sur l'appréciation portée par les autorités cantonales au sujet des déclarations de la victime et de ses propres aveux, soit sur l'appréciation des preuves. Ce grief se confond avec celui déduit de la prohibition de l'arbitraire (<ref-ruling> consid. 2a p. 88; <ref-ruling> consid. 2e p. 38).
2.6.2 Le recourant souligne que la victime lui aurait reproché d'avoir commis des attouchements de concert avec B.Y._, ce que ce dernier et lui-même ont toujours contesté. Il relève également que ce point n'a d'ailleurs pas été retenu dans l'ordonnance de renvoi.
On ne saurait cependant déduire que la victime n'est pas crédible quant aux attouchements subis du fait de cette seule déclaration lors de l'enquête et ce d'autant moins que le recourant a admis en partie ces attouchements.
2.6.3 Le recourant tente aussi d'exposer à nouveau les circonstances dans lesquelles il est passé aux aveux.
Les premiers juges ont cependant écarté ses rétractations et se sont déclarés convaincus par les aveux du recourant, ce que ce dernier n'a pas remis en question dans son recours cantonal (Mémoire, p. 7; arrêt attaqué p. 11 let. b). Ce grief d'arbitraire est, partant, irrecevable dans le recours en matière pénale (<ref-law>; cf. <ref-ruling> consid. 2.1 p. 93). Dès lors, sur la base des éléments de preuve en leur possession et malgré la déclaration de la victime mise en exergue par le recourant, il n'est pas insoutenable de la part des premiers juges d'avoir accordé foi aux autres déclarations de la victime, corroborées en partie par le recourant. On ne saurait non plus reprocher à la cour cantonale d'avoir écarté le grief d'arbitraire du recourant sur ce point.
2.7 Le recourant invoque aussi une violation de la présomption d'innocence, du principe in dubio pro reo et de l'interdiction de l'arbitraire en ce qui concerne les faits qui lui sont imputés par A.Y._.
2.7.1 Il reproche tout d'abord aux premiers juges d'avoir écarté le témoignage du dénommé D._, qui a déclaré que le soir du 31 décembre 1994, il était impossible que le recourant ait pu conduire la victime à son domicile dans la mesure où le témoin avait emprunté la voiture du recourant.
Le point de savoir si le recourant a conduit la victime avec sa voiture ou non n'est pas déterminant. Il s'ensuit que le recourant ne démontre pas en quoi, sur ce point précis, l'arrêt entrepris serait arbitraire dans son résultat. Le recourant a, par ailleurs, lui-même admis avoir fait le déplacement au domicile de la victime. Ce point ne prête pas à discussion. Reste à savoir s'il a fait ce déplacement avec le père de la victime comme il le soutient, ou en compagnie de cette dernière comme l'ont retenu les premiers juges. Ces derniers pouvaient cependant, sans arbitraire, tenir ce déplacement avec la victime pour établi en se fondant sur les déclarations de la plaignante, qui ont été, selon la cour cantonale, corroborées par l'épouse du recourant et B.Y._, père de la victime.
2.7.2 Le recourant prétend ensuite que les déclarations de la victime ne peuvent être crédibles, dans la mesure où elle avait expliqué qu'elle portait un pantalon le soir en question alors qu'elle portait une jupe.
Toutefois, ainsi que cela ressort de l'arrêt attaqué, le récit de l'agression sexuelle a été livré neuf ans après les faits. Dans ces conditions, les premiers juges pouvaient admettre sans arbitraire que l'imprécision de la victime quant aux vêtements qu'elle portait n'entachait pas la crédibilité de son récit sur les éléments décisifs, d'autant qu'elle avait justifié son erreur en expliquant qu'elle avait parlé de pantalon parce qu'elle préférait en général porter ce genre de vêtement.
2.7.3 Le recourant reproche enfin à la cour cantonale d'avoir adopté le point de vue des premiers juges, qui auraient systématiquement apprécié à sa charge tous les éléments de la procédure sans tenir compte de ceux à décharge, différents témoignages notamment.
Hormis le témoignage de D._ (v. ci-dessus consid. 2.7.1), le recourant ne cite aucun élément à sa décharge qui aurait été écarté de manière insoutenable. Son grief ne répond dès lors pas aux exigences de motivation de l'<ref-law> et ne peut être examiné.
2.7.4 On ne voit pas non plus en quoi le fait, tiré du jugement de première instance, que les deux protagonistes ont participé à une journée de ski en 1995 serait de nature à exclure les agissements reprochés au recourant.
2.7.5 Le recourant tente enfin, mais en vain, de discréditer les déclarations de la victime en invoquant les circonstances dans lesquelles cette dernière aurait, selon lui, dénoncé les faits. Il relève que le traumatisme prétendument subi par la victime ne s'accorderait pas avec le fait que les actes incriminés n'ont été, selon lui, invoqués que de manière incidente dans une autre enquête, qui avait trait à des actes d'ordre sexuel commis par un des cousins de la victime en 2003. Il souligne aussi que la plainte a été formulée, curieusement, alors que Z._ avait également déposé plainte en 2003 et que les deux victimes prétendaient ne pas s'être concertées.
De telles insinuations, ne font que refléter l'opinion du recourant. Ainsi articulé, le grief est de nature appellatoire et est, partant, irrecevable (<ref-ruling> consid. 6 p. 397).
3. Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant succombe. Il supporte les frais de la cause (<ref-law>). Il n'est pas alloué d'indemnité aux intimées qui n'ont pas participé à la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2000 fr. sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 5 juin 2009
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Le Greffier:
Favre Vallat