Faits:
A. Par jugement du 23 février 2010, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné X._ pour actes d'ordre sexuel avec un enfant, contrainte sexuelle et viol à 7 ans de privation de liberté sous déduction de 445 jours de détention préventive, peine complémentaire à deux précédentes condamnations des 19 mars 2002 et 28 septembre 2004. Le sursis accordé par le Tribunal de police de Lausanne le 10 août 1999 a été révoqué et l'exécution de la peine de vingt jours d'emprisonnement ordonnée. Le tribunal a, en outre, pris acte de la reconnaissance de dette souscrite en faveur de la victime. En résumé, ce jugement repose sur l'état de fait suivant.
A.a A.Y._ est née le 19 juin 1987. Ses parents ont divorcé le 1er novembre 1999, après quoi sa mère, B.Y._, a entamé une liaison avec X._. Celui-ci s'est installé, dès la fin de l'année 1999, dans l'appartement occupé par sa nouvelle compagne et les enfants de celle-ci. Jusqu'à la fin de l'année 2000, lorsque s'est achevée la liaison, X._ a joué le rôle de père de substitution et assuré la cohésion de la famille recomposée. A.Y._ l'appelait « papa X._ ». En juin 2004, à la suite de discussions avec l'un de ses enseignants, A.Y._ a exposé à la police avoir été l'objet de sévices sexuels de la part de X._. En se fondant sur les rapports médicaux et sur le récit de la victime, jugé authentique, le tribunal a retenu les faits suivants à charge de l'accusé.
A.b Durant une nuit du mois de janvier 2000, il s'est introduit dans la chambre de la victime, puis dans son lit. L'invitant à ne pas avoir peur, il l'a dévêtue et pénétrée. La victime était vierge au moment des faits. A.Y._ a été terrorisée et n'a pas su si elle devait pleurer ou crier.
A.c Dès cette première nuit et jusqu'au mois de décembre 2000, X._ a réitéré ses intrusions nocturnes dans la chambre de l'adolescente à raison d'une à deux fois par semaine. A chaque reprise, il a eu une relation sexuelle complète avec A.Y._ en l'invitant à ne pas en parler à sa mère, au risque que celle-ci le quitte et qu'il aille en prison.
A.d De janvier à mars 2001, après la rupture avec B.Y._, X._ a continué de voir la victime, en la recevant chez lui, dans son studio, ou dans le magasin qu'il exploitait. A ces occasions, il a eu des relations sexuelles complètes avec A.Y._ qu'il a également pénétrée avec ses doigts. Il l'a aussi contrainte à lui faire des fellations et à supporter l'éjaculation dans sa bouche. A.Y._ a, de surcroît, été soumise à des épisodes de sodomie et à des pénétrations vaginales et anales avec un olisbos.
B. Par arrêt du 29 avril 2010, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours du condamné.
C. Ce dernier interjette un recours en matière pénale. Il conclut principalement à l'annulation de la décision querellée et au renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants. A titre subsidiaire, il demande la réforme de l'arrêt cantonal en ce sens qu'il soit condamné à 3 ans de privation de liberté dont 18 mois avec sursis sous déduction de la détention préventive subie. Il requiert en outre le bénéfice de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.
Considérant en droit:
1. Le recourant invoque tout d'abord l'arbitraire dans la constatation des faits et la présomption d'innocence.
1.1 Dans le recours en matière pénale, les faits constatés par les autorités cantonales lient le Tribunal fédéral (art. 105 al. 1 LTF). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit essentiellement de façon arbitraire au sens de l'art. 9 Cst. (cf. ATF 133 II 249 consid. 1.2.2; sur la notion d'arbitraire, v. : ATF 135 V 2 consid. 1.3, p. 4 s). Ce dernier reproche se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst.; art. 6 CEDH) au stade de l'appréciation des preuves (ATF 124 IV 86 consid. 2a p. 88). Le Tribunal fédéral n'examine, du reste, de tels griefs qu'autant qu'ils répondent aux exigences de motivation accrues déduites de l'art. 106 al. 2 LTF et qu'ils ne sont pas purement appellatoires (ATF 133 III 393 consid. 6 p. 397).
1.2 Le recourant reproche aux autorités cantonales d'avoir retenu à sa charge les faits tels qu'ils ont été relatés par la victime. Cette appréciation serait partiale. Elle résulterait de l'émotion ressentie par les premiers juges. Le caractère invariable, nuancé et douloureux des déclarations de la victime serait dû en grande partie au temps dont elle a disposé pour les rendre cohérentes. Ces accusations ne constitueraient, au demeurant, pas un moyen de preuve. Les indices censés les étayer ne seraient pas probants. Le recourant relève, sur ce point, que le fait d'avoir retrouvé des godemichets chez lui en 2004 ne permettrait pas d'établir qu'il les a utilisés sur la jeune fille et le rapport d'examen gynécologique de la doctoresse C._ ne contredirait pas ses propres explications, puisqu'il avait admis avoir eu des rapports sexuels avec la victime.
Le recourant élève ainsi des griefs de deux ordres, qu'il convient d'examiner successivement.
1.3 En affirmant de manière péremptoire que les déclarations d'une victime ne constituent pas un moyen de preuve, respectivement qu'en se fondant sur elles le juge renverserait le fardeau de la preuve, le recourant méconnaît le principe de libre appréciation des preuves (art. 249 PPF; art. 365 al. 2 CPP/VD).
Conformément à celui-ci, est déterminante la force de conviction attachée à chaque moyen de preuve et non pas le genre de preuve administrée, sur la base d'une évaluation globale de l'ensemble des preuves rassemblées au dossier. Par ailleurs, ni la Constitution fédérale, ni la CEDH n'interdisent d'entendre les victimes d'une infraction - qui se sont constituées parties civiles - dans la procédure en tant que témoins (arrêt non publié 6B_360/2008 du 12 novembre 2008 consid. 4.3; HAUSER/SCHWERI/HARTMANN, Schweizerisches Strafprozessrecht, 6e éd. 2005, § 62 n° 4; arrêt de la CommEDH Charles Grüttler contre Suisse du 1er décembre 1993, JAAC 110/1994 p. 754). Ces témoignages constituent alors un élément de preuve que le juge doit apprécier conformément au principe précité. Son appréciation globale porte aussi sur les aveux, le cas échéant partiels, de l'auteur. Sous réserve des cas particuliers, non réalisés en l'espèce, où une expertise de la crédibilité des déclarations de la victime s'impose (cf. ATF 129 IV 179 consid. 2.4, p. 184), le juge peut ainsi acquérir la conviction que les faits se sont déroulés tels qu'ils ont été exposés par la victime. Il n'y a alors pas de renversement du fardeau de la preuve mais appréciation de l'ensemble des preuves disponibles. Le grief est infondé.
1.4 Le reste de la discussion proposée par le recourant porte sur l'interprétation des déclarations de la victime, soit, essentiellement, le contexte temporel dans lequel elles ont été faites et les indices qui les étaient.
1.4.1 Le recourant voit la marque de la partialité de l'autorité de première instance dans l'expression « par sa sincérité, ce cri a la beauté tragique d'un poème ».
Le tribunal qualifie de la sorte un écrit de la victime (« l'endroit où je dors est une flaque de désespoir... peut-être parce que c'est l'endroit où tout a commencé »). Les premiers juges s'expriment ainsi au moment de fixer la peine (jugement, consid. 5, p. 18). A ce stade, ils avaient acquis leur conviction sur les faits reprochés au recourant. Il s'agissait uniquement de souligner la gravité des actes du recourant au travers du ressenti douloureux de la victime. Le ton emphatique du propos n'est pas propre à démontrer l'arbitraire ou la partialité dans la constatation des faits constitutifs des infractions. Le grief est infondé.
1.4.2 En relation avec le caractère convaincant du récit de A.Y._, le tribunal a expliqué que les révélations de cette dernière à la police en juin 2004 tiraient leur origine de la relation de confiance qu'elle avait nouée avec un enseignant (jugement, consid. I, p. 10). Les premiers juges n'ont donc pas ignoré le temps écoulé entre les faits et leur confession, respectivement que cette dernière résultait d'une démarche psychologique qui n'avait abouti que plusieurs années après les agissements du recourant. Rien ne permet, en revanche, d'affirmer comme le voudrait ce dernier que le caractère « invariable, nuancé et douloureux » du récit de la victime serait en grande partie dû au temps dont elle a bénéficié pour rendre sa version des faits cohérente, moins encore que son récit ne refléterait pas la réalité.
1.4.3 S'il n'est pas établi que ce sont les jouets sexuels retrouvés au domicile du recourant qui ont servi aux abus réprimés, cette découverte n'en accrédite pas moins la version de la victime tout au moins en ce sens que le recourant disposait de tels substituts, ce qui suggère qu'il en usait lors de ses relations sexuelles. Cela constitue un indice supplémentaire en faveur des déclarations de l'adolescente qui affirme avoir été contrainte à subir de tels attouchements.
1.4.4 Les premiers juges ont relevé que le rapport de la doctoresse C._ confirmait l'existence de lésions hyménales anciennes (défloration) et une distension de l'introitus vaginal compatible avec l'anamnèse de pénétration vaginale répétée [souligné dans le texte]. En outre, la morphologie anale avait été modifiée et comportait une cicatrice de la muqueuse compatible avec une anamnèse de pénétration anale (jugement, consid. 3, p. 13). L'autorité de première instance pouvait en conclure, sans arbitraire, que cet avis médical confirmait, sur un plan objectif, non seulement que l'adolescente avait été déflorée, mais aussi l'existence de rapports sexuels répétés et de la pénétration anale, soit, pour l'essentiel, les actes dénoncés par la jeune fille. Il n'était donc pas insoutenable d'en déduire que ce document étayait la crédibilité des déclarations de la victime.
1.4.5 En définitive, confrontés, d'une part, au récit de cette dernière que différents indices rendaient crédible et, d'autre part, aux versions successives du recourant (déni indigné du 16 juin 2004; aveux du 21 juin 2004; rétractations subséquentes et aveux partiels aux débats), les autorités cantonales pouvaient, sans verser dans l'arbitraire, tenir pour établi que les événements s'étaient déroulés tels qu'ils avaient été narrés par la victime et écarter la version des faits du recourant. Le grief est infondé.
2. Le recourant discute ensuite la peine qui lui a été infligée. Il cite, en particulier, d'autres cas dans lesquels des condamnations moins sévères ont été prononcées.
2.1 Les principes régissant la fixation de la peine ont été rappelés dans un arrêt récemment publié (ATF 134 IV 17 consid. 2.1 et les références citées). Il suffit d'y renvoyer en rappelant que le juge dispose, en la matière, d'un large pouvoir d'appréciation et que la cour de céans ne sanctionne que l'abus ou l'excès de ce pouvoir. Par ailleurs, selon une jurisprudence bien établie, eu égard aux nombreux paramètres qui interviennent dans la fixation de la peine, une comparaison avec des affaires concernant d'autres accusés et des faits différents est d'emblée délicate et généralement stérile dès lors qu'il existe presque toujours des différences entre les circonstances, objectives et subjectives, que le juge doit prendre en considération dans chacun des cas (ATF 120 IV 136 consid. 3a p. 144; 116 IV 292). Il ne suffit notamment pas que le recourant puisse citer l'un ou l'autre précédent où une peine particulièrement clémente a été fixée pour prétendre à un droit à l'égalité de traitement (ATF 120 IV 136 consid. 3a p. 144 et les arrêts cités). Le principe de la légalité prime du reste sur celui de l'égalité (ATF 124 IV 44, consid. 2c p. 47).
2.2 Le recourant reproche aux autorités cantonales, en invoquant le principe nil nocere, de n'avoir pas pris en considération sa situation professionnelle. Il souligne s'être taillé une place dans la vente de produits informatiques. La peine de sept ans de privation de liberté rendrait impossible toute réinsertion sur le marché du travail, dans ce domaine spécifique en particulier, compte tenu de l'évolution technologique.
Lors de la fixation de la peine, les effets de celle-ci sur la vie professionnelle de l'auteur doivent certes être pris en considération (art. 47 al. 1 in fine CP). La jurisprudence rendue en application de l'ancien art. 63 CP avait ainsi déjà admis, en application du principe précité, qu'un auteur âgé de 58 ans, qui avait trouvé un emploi malgré une précédente condamnation et qui avait acquis une situation professionnelle stable, pouvait prétendre à la prise en considération de son insertion professionnelle et à ce que la durée de la peine complémentaire soit fixée - pour autant qu'elle corresponde à la culpabilité - de sorte que la peine d'ensemble à exécuter demeure compatible avec la semi-détention (ATF 121 IV 97).
En l'espèce, le tribunal correctionnel n'a pas ignoré la situation professionnelle du recourant. Le consid. III du jugement (appréciation/sanction) indique notamment que le condamné, sans formation spécifique, après avoir abandonné deux apprentissages, a réussi à se tailler une petite place dans la vente de produits informatiques. Sa vie professionnelle a été entrecoupée de périodes de chômage (p. 16). Il a retrouvé du travail au Portugal dans le domaine de l'informatique et a perdu cet emploi après son arrestation en Angleterre (p. 17). Ce jugement retient cependant aussi la gravité extrême des actes commis par le recourant au plan objectif et sa très lourde culpabilité au plan subjectif (v. aussi infra consid. 2.5), qui ont motivé, avec le concours d'infractions (art. 49 CP), le prononcé de la peine privative de liberté infligée (jugement, p. 18). Dans ces conditions, toute peine correspondant à la culpabilité du recourant déploiera nécessairement sur sa vie professionnelle les effets inhérents à une privation de liberté de plusieurs années. On peut rappeler, dans ce contexte, que les modalités d'exécution d'une telle sanction doivent, de toute manière, en combattre les effets nocifs et offrir des possibilités de formation ou de perfectionnement professionnel (art. 75 al. 1 et 3 CP). On ne saurait donc reprocher aux autorités cantonales de n'avoir pas attaché une importance particulière à cette circonstance en arrêtant à sept ans la durée de la privation de liberté.
2.3 Le recourant invoque ensuite qu'il est père d'un enfant de six ans à l'entretien duquel il ne pourrait plus contribuer et qui se verrait contraint de grandir sans son père jusqu'à l'adolescence.
Il s'écarte sur ce point de manière inadmissible des faits établis par les autorités cantonales qui lient la cour de céans (art. 105 al. 1 LTF). Ainsi formulé, le grief est irrecevable. Au demeurant, le juge ne doit tenir compte, dans une mesure sensible, de la situation familiale du condamné comme facteur favorable qu'en cas de circonstances exceptionnelles (WIPRÄCHTIGER, BSK, Strafgesetzbuch I, 2e éd. 2007, art. 47, n. 118; arrêt 6B_751/2009 consid. 3, du 4 décembre 2009). Celle du recourant ne diffère pas particulièrement de celle de nombreux détenus qui ont des enfants.
2.4 Le recourant plaide encore son enfance difficile.
Rien n'indique cependant que cette circonstance ait joué un rôle particulier susceptible d'amoindrir la culpabilité du recourant en relation avec les actes pour lesquels il est condamné. On ne saurait donc non plus reprocher aux autorités cantonales de n'avoir pas pris particulièrement en considération cet élément dans la fixation de la peine.
2.5 Au titre de la comparaison avec d'autres cas, le recourant mentionne divers arrêts du Tribunal fédéral.
2.5.1 Cette comparaison apparaît d'emblée vaine dans tous les cas où le Tribunal fédéral n'a pas examiné la question de la quotité de la peine (ainsi de l'ATF 126 IV 136, qui n'a au demeurant pas trait à des actes commis sur une personne sexuellement mineure, de l'arrêt non publié 6B_56/2009 du 31 mars 2009 et de l'arrêt 6B_82/2007 du 6 juin 2007 cités par le recourant). On peut rappeler également, à ce propos, que saisie d'un recours du condamné, la cour de céans doit s'abstenir, conformément au principe de l'interdiction de la reformatio in pejus, de modifier en défaveur du recourant le dispositif de la décision cantonale, soit notamment la durée ou les modalités de la peine privative de liberté infligée (cf. YVES DONZALLAZ, Loi sur le Tribunal fédéral, 2008, art. 107, n. 4300; cf. aussi, GILBERT KOLLY, Le pourvoi en nullité à la Cour de cassation du Tribunal fédéral, 2004, p. 91 s.). C'est pourquoi, sauf obiter dictum exceptionnel, il n'est pas possible d'exclure que les arrêts rendus dans de tels cas confirment, sans examiner la question, le prononcé d'une peine très ou même excessivement clémente.
2.5.2 Le recourant cite aussi l'ATF 122 IV 97, qui a trait à un auteur condamné à trois ans d'emprisonnement pour actes d'ordre sexuel, contrainte et viol sur une enfant à de très nombreuses reprises durant cinq ans.
Cette affaire a été jugée il y a plus de quinze années. Les autorités cantonales ont notamment relevé, dans ce cas, la facilité avec laquelle le condamné avait pu commettre les actes qui lui étaient reprochés, ce qui faisait apparaître sa faute moins lourde et avait justifié une peine sensiblement moins élevée que s'il avait utilisé une contrainte physique (ATF 122 IV 97 consid. 2b, p. 102). Depuis lors, le Tribunal fédéral a rappelé qu'en lui-même, le moyen de contrainte utilisé ne permettait pas d'appréhender la gravité de l'acte (ATF 128 IV 97 consid. 3, p. 104). Le précédent invoqué par le recourant apparaît ainsi dépassé. Au demeurant, même dans cette perspective, ce cas n'est pas comparable à celui du recourant. Dans la présente affaire, les autorités cantonales n'ont, en effet, pas retenu que le recourant avait pu parvenir facilement à ses fins. Elles ont au contraire souligné qu'il avait instrumentalisé l'affection que la victime, fragilisée par un récent divorce, lui portait pour la détourner à des fins obscènes. Il avait fait en sorte de devenir une référence affective fondamentale dans la vie de l'enfant et s'était assuré une situation de domination à des fins personnelles (jugement, consid. 5, p. 18). Cela suggère, de la part du recourant, des manoeuvres nécessitant un certain investissement personnel pour atteindre son but. Les premiers juges ont aussi mis en exergue la diversité et le caractère sordide des comportements sexuels non consentis imposés par le recourant à la victime en relevant que ce dernier avait « littéralement abusé de tous les orifices de l'adolescente en utilisant son corps ou des artifices » et qu'il lui avait « imposé des traitements qu'une professionnelle refuserait à un client rémunérateur » (jugement, ibidem). De telles considérations sont étrangères à l'ATF 122 IV 97, dans lequel, de surcroît, même s'ils ont été infligés sur une période beaucoup plus longue, les actes sexuels et d'ordre sexuel étaient significativement moins nombreux qu'en l'espèce. La comparaison est vaine.
2.5.3 Dans l'arrêt non publié 6B_891/2009 du 13 janvier 2010, ni la durée de la période durant laquelle l'auteur a agi, ni la fréquence ni le nombre de relations sexuelles complètes imposées à la victime ne sont comparables.
2.5.4 Enfin, dans le cas publié aux ATF 128 IV 97, précité, auquel se réfère également le recourant, le Tribunal fédéral n'examine la fixation de la peine qu'en relation, d'une part, avec la nature du moyen de contrainte utilisé (consid. 3a; v. supra consid. 2.5.2) et, d'autre part, avec la question de la couverture médiatique de la procédure pénale (consid. 3b) pour en conclure que ce dernier point ne pourrait avoir qu'une influence minime et que la peine prononcée ne violait en tous cas pas le droit fédéral. Mais surtout, l'état de fait de cet arrêt ne fournit aucune indication sur la nature, l'importance et la fréquence des actes imposés aux victime, respectivement sur l'âge de celles-ci, ce qui exclut d'emblée tout parallèle.
2.6 En conclusion, si la peine infligée au recourant n'est pas dépourvue de sévérité compte tenu notamment d'une légère diminution de responsabilité, d'une prise de conscience partielle mais effective, de la volonté de réparer le dommage et de l'ancienneté des faits (jugement, consid. 5, p. 19), elle ne dépasse cependant pas la moitié de la durée des peines privatives de liberté qu'autorisait le concours des art. 187, 189 et 190 CP (art. 49 al. 1 CP). Il n'apparaît pas que les autorités cantonales auraient excédé ou abusé de leur pouvoir d'appréciation, compte tenu de la culpabilité très lourde du recourant, résultant notamment du nombre, de la fréquence et de la nature des sévices sexuels infligés à la victime (v. supra notamment consid. A.b, A.c, A.d et 2.5.2).
3. Le recourant succombe. Ses conclusions étaient d'emblée dénuées de chances de succès. L'assistance judiciaire doit être refusée (art. 64 al. 1 LTF). Il supporte les frais, qui seront fixés en tenant compte de sa situation économique (art. 65 al. 2 et 66 al. 1 LTF) qui n'apparaît pas favorable en raison de sa détention prolongée.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté autant que recevable.
2. L'assistance judiciaire est refusée.
3. Les frais judiciaires, arrêtés à 1600 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale. A.Y._ est informée qu'elle peut en obtenir gratuitement communication.
Lausanne, le 15 novembre 2010
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Le Greffier:
Favre Vallat