Erwägungen:
1.
1.1. Die Revision ist nach Art. 453 Abs. 1 StPO gemäss dem früheren Zürcher Recht zu beurteilen. Inhaltlich stimmen § 449 Ziff. 3 aStPO/ZH und aArt. 397 StGB überein (BGE 117 IV 40 E. 2a S. 42). aArt. 397 StGB wurde bei der Novellierung in Art. 385 StGB übernommen, wobei dieser Bestimmung neben Art. 410 Abs. 1 lit. a StPO kaum noch eigenständige Bedeutung zukommt (CHANSON/VIREDAZ, in: Commentaire romand, Code pénal II, 2017, Art. 385 N. 1). Im Ergebnis entspricht § 449 Ziff. 3 aStPO/ZH in der konkreten Anwendung Art. 410 Abs. 1 lit. a StPO (Urteile 6B_1042/2015 vom 19. April 2016 E. 4.1, 6B_310/2011 vom 20. Juni 2011 E. 1.1 [SJ 2012 I 389]).
1.2. Gemäss § 449 Ziff. 3 aStPO/ZH kann gegen ein rechtskräftiges Urteil, durch welches eine Strafe oder eine Massnahme verhängt wurde, die Wiederaufnahme des Verfahrens zu Gunsten des Verurteilten verlangt werden, wenn Tatsachen und Beweismittel geltend gemacht werden, die dem erkennenden Gericht nicht bekannt waren und welche allein oder in Verbindung mit früher erhobenen Tatsachen die Freisprechung des Angeklagten oder eine mildere Bestrafung rechtfertigen (vgl. BGE 117 IV 40 E. 2a S. 42).
Gemäss den Mindestanforderungen von aArt. 397 StGB hatte das kantonale Recht "wegen erheblicher Tatsachen oder Beweismittel, die dem Gericht zur Zeit des früheren Verfahrens nicht bekannt waren", die Wiederaufnahme des Verfahrens zugunsten des Verurteilten zu gestatten. aArt. 397 StGB enthält einerseits eine Weisung an die Kantone, das Rechtsmittel der Revision zugunsten des Verurteilten wegen neuer erheblicher Tatsachen oder Beweismittel für ihre Strafprozessordnung einzuführen, und anderseits einen selbstständigen bundesrechtlichen Revisionsgrund zugunsten des Verurteilten im Sinne einer Minimalvorschrift (BGE 114 IV 138 E. 3a S. 142; 107 IV 133 E. 1b S. 136; 106 IV 45 E. 1 S. 46 f.; zum verfassungsmässigen Anspruch BGE 127 I 133 E. 6 S. 137 f.). Der Kassationshof des Bundesgerichts überprüfte deshalb die Abweisung eines Revisionsgesuchs auf Nichtigkeitsbeschwerde hin im Lichte der Minimalgarantien von aArt. 397 StGB auf ihre Übereinstimmung mit Bundesrecht (Urteil 6S.367/2005 vom 27. September 2006 E. 3.1).
Revisionsrechtlich war eine Tatsache neu, wenn sie schon im Urteilszeitpunkt vorgelegen hatte, dem Gericht jedoch nicht bekannt war oder von ihm in seiner Massgeblichkeit übersehen wurde. Ob eine Tatsache oder ein Beweismittel dem Sachrichter bekannt war oder im Sinne von aArt. 397 StGB neu ist, war Tatfrage. Ebenfalls Tatfrage war, ob die neue Tatsache bzw. das neue Beweismittel erheblich (beweiskräftig) ist, das heisst, ob es geeignet ist, die im früheren Urteil angenommenen tatsächlichen Grundlagen des Urteils zu erschüttern, dessen Revision verlangt wird. Denn sie schliesst notwendig eine Würdigung sämtlicher Tatsachen, sowohl der alten wie der neuen, mit ein (BGE 130 IV 72 E. 1 S. 73; 116 IV 353 E. 2b S. 356; 109 IV 173 E. 2). Rechtsfrage war demgegenüber, ob die letzte kantonale Instanz von den richtigen Begriffen der neuen Tatsache, des neuen Beweismittels und deren Erheblichkeit im Sinne von aArt. 397 StGB ausgegangen war und ob die voraussichtliche Veränderung der dem früheren Urteil zugrundeliegenden tatsächlichen Grundlagen rechtlich bedeutsam ist, das heisst, dass das neue Vorbringen, falls es den Sachverhalt zu verändern vermag, zu einem im Schuld- oder Strafpunkt für den Verurteilten günstigeren Urteil führen kann (Urteil 6S.367/2005 vom 27. September 2006 E. 3.3). Das entspricht der heutigen Rechtslage (Urteil 6B_1163/2015 vom 11. Dezember 2015 E. 2.1).
1.3. Die frühere Rechtsprechung stimmt mit dem Revisionsverfahren der StPO grundsätzlich überein, das sich ebenfalls in zwei Phasen gliedert (Urteile 6B_1186/2017 vom 22. Dezember 2017 E. 1 und 6B_1042/2015 vom 19. April 2016 E. 4.2). Gemäss Art. 412 Abs. 2 StPO tritt das Gericht auf das Revisionsgesuch nicht ein, wenn es offensichtlich unzulässig oder unbegründet ist oder die geltend gemachten Revisionsgründe offensichtlich unwahrscheinlich oder unbegründet sind. Eine solche Vorprüfung sah auch das Zürcher Recht vor (Urteil 6B_1042/2015 vom 19. April 2016 E. 4.3). Die Revision ist zuzulassen, wenn die Abänderung des früheren Urteils wahrscheinlich ist. Der Nachweis einer solchen Wahrscheinlichkeit darf nicht dadurch verunmöglicht werden, dass für die neue Tatsache ein Beweis verlangt wird, der jeden begründeten Zweifel ausschliesst (Urteil 6B_758/2015 vom 24. November 2015 E. 1.1).
Eine Wiederaufnahme des Strafverfahrens gestützt auf Art. 410 Abs. 1 lit. a StPO, respektive § 449 Ziff. 3 aStPO/ZH oder Art. 385 StGB, ist grundsätzlich auch möglich, wenn eine Tatsache der beschuldigten Person bekannt war und sie es unterliess, diese dem Gericht zur Kenntnis zu bringen. Dies gilt unter Vorbehalt des Rechtsmissbrauchs. Ein Revisionsgesuch ist als rechtsmissbräuchlich zu qualifizieren, wenn es sich auf Tatsachen oder Beweismittel stützt, welche der Verurteilte von Anfang an kannte und ohne berechtigten Grund verschwieg (vgl. BGE 141 IV 349 E. 2.2 S. 353; Urteil 6B_527/2015 vom 2. September 2015 E. 1.1). Vorausgesetzt ist überdies eine detaillierte Rechtfertigung der Unterlassung ("[il] doit justifier de manière détaillée de son abstention de produire le moyen de preuve lors du jugement de condamnation"; Urteil 6B_415/2012 vom 14. Dezember 2012 E. 2.3). Die Revision kann nicht dazu dienen, rechtskräftige Entscheide immer wieder in Frage zu stellen. Rechtsmissbrauch ist indes nur mit Zurückhaltung anzunehmen (BGE 130 IV 72 E. 2.2 S. 74 und E. 2.4 S. 76; Urteile 6B_1042/2015 vom 19. April 2016 E. 4.4 und 6B_54/2014 vom 24. April 2014 E. 3).
1.4. Präzisierend führt die Vorinstanz hinsichtlich des Zürcher Rechts aus, ausgeschlossen sei die Neuheit, wenn sich sinngemäss aus dem Urteil ergebe, dass der fragliche Umstand vom Gericht mitberücksichtigt wurde. Zudem fehle es an der Neuheit, wenn eine im früheren Entscheid diskutierte Beweisfrage mit den bisherigen oder neuen Beweisen wie Zeugen, Sachverständigen usw. wieder aufgerollt werden soll, ohne dass neue Tatsachen eingeführt werden. Eine bloss andere neue bzw. angeblich bessere Würdigung der bereits im ersten Verfahren bekannten Tatsachen sei grundsätzlich kein Wiederaufnahmegrund (Beschluss S. 7).
Daraus ergeben sich gegenüber dem Bundesrecht keine rechtserheblichen Besonderheiten. Die Auslegung und Anwendung des kantonalen Rechts beurteilt das Bundesgericht unter Willkürgesichtspunkten.
1.5. Für das Bundesgericht ist zunächst der vorinstanzlich festgestellte Sachverhalt massgebend (Art. 105 Abs. 1 BGG). Die Beweiswürdigung ist Aufgabe des Sachgerichts (Art. 10 Abs. 2 StPO). Soweit der Sachverhalt und damit die Beweiswürdigung der Vorinstanz bestritten werden, hebt das Bundesgericht ein Urteil auf, wenn es willkürlich ist, d.h. sich im Ergebnis (Art. 97 Abs. 1 BGG) als schlechterdings unhaltbar erweist, nicht bereits wenn eine andere Lösung ebenfalls vertretbar erschiene. Für die Anfechtung des Sachverhalts gilt das strenge Rügeprinzip (Art. 42 Abs. 2 i.V.m. Art. 97 Abs. 1 und Art. 106 Abs. 2 BGG). Auf eine abweichende eigene Version des Geschehens und blosse Kritik am Urteil hat das Bundesgericht nicht einzutreten (BGE 141 IV 249 E. 1.3.1 S. 253, 317 E. 5.4 S. 324, 369 E. 6.3 S. 375; 140 III 264 E. 2.3 S. 265).
2.
2.1. Der Beschwerdeführer rügt eine offensichtlich unrichtige Feststellung des Sachverhalts und die Verletzung des rechtlichen Gehörs (Art. 29 Abs. 2 BV) sowie von Art. 6 EMRK und Art. 14 UNO-Pakt II. Eine Verletzung des Konventions- oder Völkerrechts wird nicht begründet (Art. 106 Abs. 2 BGG), sodass darauf nicht einzutreten ist (BGE 142 III 364 E. 2.4 S. 368; Urteil 6B_493/2017 vom 5. Oktober 2017 E. 1.5).
2.2. Der Beschwerdeführer bringt vor, nach dem Strafurteil sei es in unbestimmt vielen Fällen zu sexuellen Handlungen mit seinem Stiefsohn A._ gekommen, wobei er "mit seinem Glied, selten auch mit den Fingern, in den After eingedrungen" sei. Er habe seine Unschuld beteuert. Das Obergericht sei davon ausgegangen, die belastenden Aussagen der Kinder seien glaubwürdig.
Der Gefängnisarzt habe bei einer Routineuntersuchung bemerkt, er habe einen grossen Penis, und ihm mit Schreiben vom 6. September 2016 mitgeteilt, bei diesen Dimensionen halte er einen Analverkehr mit einem Knaben von 10 bis 13 Jahren für nicht möglich, ohne bei diesem schwerste Verletzungen zu hinterlassen (Beschwerde S. 6). Das sei im Strafverfahren weder aufgeworfen noch diskutiert worden.
Der Beschwerdeführer weist auf eine medizinische Untersuchung der Kinder A._ und B._ vom 13. Februar 1993 in Paris hin, wobei keine Auffälligkeiten festgestellt worden seien. In einem auf Antrag der damaligen Verteidigung von Prof. D._ erstellten Arztbericht vom 18. April 1997 sei die Frage nicht aufgeworfen, geschweige denn beantwortet worden, wie gross das Glied im erigierten Zustand sei und ob die Grösse zwingend zur Verletzung bei A._ hätte führen müssen.
Die neue Tatsache im Sinne von Art. 410 Abs. 1 lit. a StPO bestehe mithin in der Erkenntnis des Gefängnisarztes, dass Analverkehr im vorliegenden Fall zwingend zu Verletzungen hätte führen müssen. Diese Erkenntnis würde zusammen mit dem Arztbericht von Paris einen völlig neuen Sachverhalt ergeben (S. 7 f.). Der Umfang des Penis sei bis dato nicht erfasst und nie Gegenstand irgendwelcher Erörterungen gewesen (S. 15). Er sei vom Gericht nicht einmal als Hypothese in Betracht gezogen worden (S. 20).
Prof. D._ habe den Fall eines überdurchschnittlich grossen Penis weder explizit noch sinngemäss berücksichtigt (S. 17). Erst das eventualiter beantragte Gutachten könnte mit entsprechenden Stimuli eine Messung des erigierten Penis ermöglichen (S. 21). Die Vorinstanz verletze seinen Gehörsanspruch (Art. 29 Abs. 2 BV) in zweifacher Weise: Sie habe die Ablehnung des Beweisantrags nicht sachlich begründet und könnte den Antrag auch nicht in antizipierter Beweiswürdigung ablehnen (S. 23).
Hinsichtlich eines rechtsmissbräuchlichen Revisionsantrags führt der Beschwerdeführer aus, er habe nie behauptet, die Tat sei wegen eines überdurchschnittlich grossen Penis "nicht möglich gewesen"; er habe vielmehr gesagt, gestützt auf die Erkenntnisse des Gefängnisarztes hätte Analverkehr zwingend zu schwersten Verletzungen führen müssen. Er habe nicht gewusst, "dass sein Penis überdurchschnittliche Dimensionen aufweist und bei Analverkehr mit einem jungen Knaben von 10 bis 13 Jahren zwingend zu Verletzungen führt". Die gegenteilige Annahme sei willkürlich. Die Annahme, er hätte diese Tatsache im Strafverfahren vorbringen können, sei wiederum willkürlich. Selbst wenn er davon Kenntnis gehabt hätte, könnte dies keinen Rechtsmissbrauch begründen (S. 24 ff.).
2.3. Die Vorinstanz führt aus, die Frage eines möglichen Analverkehrs mit einem 13-Jährigen, ohne dass Verletzungen im Analbereich nachweisbar seien, sei bereits von seinem vormaligen Verteidiger in der Untersuchung aufgeworfen worden. Auf dessen Ersuchen sei von der damaligen Bezirksanwaltschaft ein Gutachten beim Institut für Rechtsmedizin der Universität Zürich-Irchel (IRM) in Auftrag gegeben worden. Prof. D._ habe im Gutachten vom 18. April 1997 festgehalten,
dass man aus rechtsmedizinischer Erfahrung wisse, dass insbesondere die fragliche Untersuchung der gesamten Körperoberfläche zur Feststellung von Verletzungen und die serologische Untersuchung von Abstrichen vom Anus zum Nachweis von Spermien einen grossen Stellenwert hätten, da durch die alleinigen Untersuchungen der äusseren Genitalien und des Anus häufig keine oder lediglich geringe Verletzungen festgestellt werden könnten. Dabei gelte es zu berücksichtigen, dass diese Untersuchungen in ihrer Aussagekraft mit länger werdendem Zeitabschnitt zwischen dem Ereignis und dem Untersuchungszeitpunkt stark eingeschränkt werden könnten. Insgesamt müsse die Frage, ob Analverkehr bei einem 13-jährigen Knaben medizinisch feststellbare Spuren hinterlässt, dahingehend beantwortet werden, dass ein derartiger Spurennachweis in obgenannter Art und Weise möglich sein könne. Negative Befunde würden solche Handlungen jedoch nie ausschliessen.
Die Vorinstanz hält dazu fest, die Ausnahme eines überdurchschnittlich grossen Penis habe der Gutachter nicht erwähnt. Der Bericht des Gefängnisarztes könne das Gutachten nicht in Frage stellen. Der Gefängnisarzt habe den Beschwerdeführer die Messung selber durchführen lassen und sich hernach auf dessen Angaben gestützt unter Anfügung der Bemerkung: "mit Sicherheit ist anzunehmen, dass der Umfang sich in erigiertem Zustand deutlich vergrössert" (Beschluss S. 8). Das sei nicht geeignet, einen Wiederaufnahmegrund glaubhaft zu machen, weshalb darauf nicht einzutreten sei.
2.4. Der Beschwerdeführer legt seiner Beschwerde ein Schreiben des Gefängnisarztes vom 23. August 2017 bei, das als Beweismittel ein nicht beachtliches Novum (Art. 99 Abs. 1 BGG) darstellt, jedoch in der Beschwerde als Parteibehauptung integriert ist. Wie der Arzt darin festhält, erstellte er nicht eine Art Gutachten, sondern nahm auf dessen Wunsch "ganz einfach eine Umfangmessung an seinem nicht erigierten Penis" vor. Er habe es für eine Art Allgemeinwissen gehalten, dass der Umfang im erigierten Zustand zunehme, "ohne dafür wissenschaftliche Untersuchungen gemacht zu haben und auch ohne solche zu kennen". Er sei weder medizinischer Gutachter noch habe er das je behauptet.
Ein neues Gutachten kann Anlass zur Wiederaufnahme geben, wenn es neue Tatsachen nachweist oder darzutun vermag, dass die tatsächlichen Annahmen im früheren Urteil ungenau oder falsch waren. Dabei kann es sich auch um ein Privatgutachten handeln. Ein neues Gutachten bildet noch keinen Revisionsgrund, soweit es lediglich eine vom früheren Gutachten abweichende Meinung vertritt. Es muss vielmehr mit überlegenen Gründen abweichen und klare Fehler des früheren Gutachtens aufzeigen, die geeignet sind, die Beweisgrundlage des Urteils zu erschüttern (Urteil 6B_413/2016 vom 2. August 2016 E. 1.3.1 sowie Urteil 6B_1192/2016 vom 9. November 2017 E. 4 zu Art. 65 Abs. 2 StGB). Das entspricht auch der früheren Rechtsprechung (Urteil 6S.367/2005 vom 27. September 2006 E. 3.2).
Dies gilt umso mehr für die zu beurteilende Sache: Dass der Gefängnisarzt bei einer Routineuntersuchung bemerkte, der Beschwerdeführer habe einen sehr grossen Penis (Beschwerde S. 5), und eine Umfangmessung veranlasste, vermag die der Verurteilung zugrundeliegenden Feststellungen, die auf einer umfangreichen Beweiswürdigung beruhen, nicht zu erschüttern. Mit der forensischen Begutachtung wurde die Frage einer Verletzung ins Strafverfahren eingeführt. Der Gutachter sah sich aufgrund seiner rechtsmedizinischen Erfahrung nicht veranlasst, die Grösse des Penis zu thematisieren. Der Beschwerdeführer wies in den langjährigen Strafverfahren (Strafanzeige 1990 bis Urteil vom 4. Juli 2003, vgl. S. 184-187) nie auf einen übergrossen Penis hin. Im bundesgerichtlichen Beschwerdeverfahren wurden die Schuldsprüche nicht angefochten (oben E. 1.1). Den in Frankreich erstellten medizinischen Untersuchungsberichten wurde angesichts des Gerichtsgutachtens sowie zufolge Widersprüchlichkeit kein Gewicht beigemessen (Urteil vom 4. Juli 2003, S. 95).
2.5. Wie dem Strafurteil vom 4. Juli 2003 zu entnehmen ist, befand sich der der Beschwerdeführer seit Mai 2000 in (ausnahmsweiser) Behandlung bei einer freischaffenden Psychotherapeutin (Urteil a.a.O., S. 192); der Therapeutin fiel immer wieder seine grosse Intelligenz und sein Differenzierungsvermögen auf (S. 220, 223). Die Gutachterin Dr. med. E._ bejahte neben einer langjährigen (seit der Adoleszenz), tiefverwurzelten Pädophilie gleichgeschlechtlicher Ausrichtung schweren Ausmasses (S. 171, 214, 255 f.) die unbestrittenen kognitiven Fähigkeiten des intelligenten Beschwerdeführers und dessen vollumfängliche Einsichtsfähigkeit (S. 172). Die Gerichtsgutachterin Dr. med. F._ diagnostizierte eine pädophil fixierte Sexualdevianz (S. 211, 236, 254) und stellte fest, der Beschwerdeführer beobachte gut und erfasse schnell (S. 231); sollte das Gericht zum Schluss kommen, dass er der inkriminierten Delikte schuldig sei, müsste nicht nur von "Tatverleugnung", sondern von einem "Tatverleugnungskontinuum" gesprochen werden (S. 238). Der Beschwerdeführer hatte sich in vielen Fällen beischlafähnlichen Charakters bis hin zu Analverkehr schuldig gemacht, wobei er insbesondere A._ "beim Analverkehr erhebliche Schmerzen zufügte" (S. 176 f.). Die Straftaten erfolgten im Rückfall bezüglich des Urteils des Crown Court in Leeds/GB vom 4. Januar 1988 (a.a.O., S. 179 f.).
2.6. Die Vorinstanz nimmt willkürfrei an, dass der Beschwerdeführer von einem "überdurchschnittlich grossen Penis" Kenntnis erhalten hätte und eine Tatsache geltend machen will, die ihm sei jeher bekannt gewesen wäre (Beschluss S. 9). Der Einwand wäre gegebenenfalls im ordentlichen Straf- oder Rechtsmittelverfahren vorzubringen gewesen (oben E. 2.3; Urteil 6B_73/2014 vom 17. Juli 2014 E. 3.1). Die Vorinstanz durfte den Eventualantrag auf Einholung eines Gutachtens abweisen. Eine Verletzung von Art. 29 Abs. 2 BV durch Gehörsverweigerung und willkürliche antizipierte Beweiswürdigung ist nicht ersichtlich (vgl. dazu BGE 141 I 60 E. 3.3 S. 64; 140 I 285 E. 6.3.1 S. 298 f.; Urteil 6B_993/2016 vom 24. April 2017 E. 1.2).
2.7. Die Vorinstanz schliesst - eingedenk der bundesrechtlichen Mindestanforderungen an das kantonale Recht (oben E. 1.2) - willkürfrei, der Beschwerdeführer vermöge keinen Revisionsgrund glaubhaft zu machen (Beschluss S. 9).
3.
Die Beschwerde ist abzuweisen. Das Gesuch um unentgeltliche Rechtspflege (und Verbeiständung) ist abzuweisen. Das Rechtsbegehren musste von vornherein als aussichtslos erscheinen (Art. 64 Abs. 1 BGG; BGE 142 III 138 E. 5.1 S. 139 f.;140 V 521 E. 9.1 S. 537; 129 I 129 E. 2.3.1 S. 135 f.). Der finanziellen Lage des Beschwerdeführers (vgl. Urteil 6B_557/2017 vom 9. Januar 2018 E. 4) ist mit herabgesetzten Gerichtskosten Rechnung zu tragen (Art. 66 Abs. 1 i.V.m. Art. 65 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'200.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 14. Februar 2018
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Der Gerichtsschreiber: Briw