Verjährung, Strafzumessung, hat sich ergeben:
A.- 1. Das Bezirksgericht Horgen sprach X._ am 20. August 1997 der mehrfachen sexuellen Nötigung im Sinne von <ref-law> sowie der Vergewaltigung im Sinne von <ref-law> schuldig und verurteilte ihn zu sechs Jahren Zuchthaus, unter Anrechnung von 70 Tagen Untersuchungshaft. Es verpflichtete ihn, der Geschädigten A._ Fr. 40'000.-- Genugtuung zu bezahlen. Die Zivilansprüche der Geschädigten B._ wurden auf den Zivilweg verwiesen.
2. Das Obergericht des Kantons Zürich sprach X._ am 25. November 1999 auf dessen Berufung sowie auf die Berufung der Staatsanwaltschaft hin der mehrfachen sexuellen Handlungen mit Kindern im Sinne von <ref-law>, der mehrfachen sexuellen Nötigung im Sinne von <ref-law> sowie der Vergewaltigung im Sinne von <ref-law> schuldig und verurteilte ihn zu 51⁄2 Jahren Zuchthaus, unter Anrechnung von 70 Tagen Untersuchungshaft. Es verpflichtete ihn, der Geschädigten A._ Fr. 40'000.-- Genugtuung zu bezahlen. Auf die Zivilansprüche der Geschädigten B._ trat es nicht ein.
Das Obergericht wirft X._ zusammengefasst im Wesentlichen vor, er habe seine Stieftochter A._ (geb. am 23. August 1974) in der Zeit von ca. August 1984 bis ca. Juni 1991 unter vielen Malen zur Vornahme von sexuellen Handlungen an ihm gezwungen. Er habe sie insbesondere gezwungen, ihn mit der Hand oder, später vor allem, oral zu befriedigen. Einmal, als A._ ca. 15 - 16 Jahre alt gewesen sei, habe er sie zur Duldung des Beischlafs genötigt.
Von der Anklage des sexuellen Missbrauchs der Stieftochter B._ (Anklagepunkt G) sprach das Obergericht X._ frei (siehe angefochtenes Urteil S. 37 f.).
B.- X._ führt mit Eingabe vom 17. Januar 2000 eidgenössische Nichtigkeitsbeschwerde mit dem Antrag, das Urteil des Obergerichts sei aufzuheben und die Sache zur neuen Entscheidung an die Vorinstanz zurückzuweisen. Zudem ersucht er um die Gewährung der unentgeltlichen Rechtspflege.
C.- 1. Der Kassationshof des Bundesgerichts trat am 16. Februar 2000 auf die Nichtigkeitsbeschwerde nicht ein mit der Begründung, dass sie um einen Tag verspätet angemeldet worden sei.
2. Mit Beschluss vom 15. März 2000 hob der Kassationshof seinen Nichteintretensentscheid vom 16. Februar 2000 in Gutheissung des von X._ dagegen eingereichten Revisionsgesuchs auf. Auf Grund der beigelegten Dokumente könne als erstellt gelten, dass das Dispositiv des Obergerichtsurteils nicht bereits am 26.
November 1999, sondern erst am 29. November 1999 beim Vertreter des Verurteilten eingegangen und daher die Beschwerdeanmeldung vom 7. Dezember 1999 (Poststempel) rechtzeitig erfolgt sei. Die eidgenössische Nichtigkeitsbeschwerde blieb bis zum Abschluss des Verfahrens der kantonalen Nichtigkeitsbeschwerde sistiert.
D.- Am 21. Mai 2001 wies das Kassationsgericht des Kantons Zürich die von X._ gegen das Urteil des Obergerichts erhobene kantonale Nichtigkeitsbeschwerde ab, soweit es darauf eintrat.
E.- Mit Eingabe vom 6. Juli 2001 erhebt X._ staatsrechtliche Beschwerde mit dem Antrag, der Beschluss des Kassationsgerichts vom 21. Mai 2001 bzw. das Urteil des Obergerichts vom 25. November 1999 seien aufzuheben und die Sache sei zur Neubeurteilung zurückzuweisen. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege.

Das Bundesgericht zieht in Erwägung:
1.- Der Beschwerdeführer beging alle ihm zur Last gelegten Handlungen vor dem Inkrafttreten des neuen Sexualstrafrechts am 1. Oktober 1992. Die Vorinstanz hat aber das neue Recht angewendet, weil es milder als das zur Zeit der inkriminierten Taten geltende alte Recht sei (siehe angefochtenes Urteil S. 39 - 42). Der Beschwerdeführer ficht diese Auffassung mit Recht nicht an.
2.- a) Dem Beschwerdeführer wird im Wesentlichen zur Last gelegt, er habe die Beschwerdegegnerin 1 in der Zeit von (frühestens) August 1984 bis ca. Juni 1991 unter vielen Malen sexuell missbraucht, indem er sie insbesondere gezwungen habe, ihn manuell und - später - auch oral zu befriedigen. Nach der Auffassung der Vorinstanz bilden alle inkriminierten Handlungen eine verjährungsrechtliche Einheit. Damit habe die Verfolgungsverjährung in Bezug auf alle Handlungen ca. im Juni 1991 begonnen. Daher sei die Verjährung, welche unter anderem durch die Anhebung der Strafuntersuchung im Oktober 1993 unterbrochen worden sei, im Zeitpunkt der Ausfällung des angefochtenen Urteils vom 25. November 1999 auch insoweit noch nicht eingetreten, als die inkriminierten Handlungen den Tatbestand der sexuellen Handlungen mit Kindern im Sinne von <ref-law> erfüllen, für welche dessen inzwischen aufgehobene Ziff. 5, in Kraft bis zum 31. August 1997, eine Verjährungsfrist von 5 Jahren vorgesehen habe, die durch Bundesgesetz vom 21. März 1997, in Kraft seit
1. September 1997, durch die ordentliche Verjährungsfrist von 10 Jahren ersetzt worden sei, welche gemäss <ref-law> auch gelte, wenn die Verjährung der Tat nach <ref-law> in der Fassung vom 21. Juni 1991 am 1. September 1997 noch nicht eingetreten ist (siehe angefochtenes Urteil S. 42 ff. E. 3).
Der Beschwerdeführer macht wie bereits im kantonalen Verfahren geltend, dass er "im Jahre 1989/90" unter Mitnahme seiner persönlichen Effekten aus der ehelichen Wohnung ausgezogen sei mit dem Willen, das Zusammenleben mit seiner damaligen Ehefrau und den beiden Stieftöchtern definitiv und für immer aufzugeben. Allein auf das Drängen seiner damaligen Ehefrau und der beiden Stieftöchter sei er nach ca. 2 Monaten, während welcher Zeit er bei seiner Freundin gelebt habe, wieder in die eheliche Wohnung zurückgekehrt.
Unter diesen Umständen bestehe zwischen den Handlungen, die er vor seinem Auszug aus der ehelichen Wohnung begangen habe, und den Straftaten, die er nach seiner Rückkehr in die eheliche Wohnung verübt habe, keine verjährungsrechtliche Einheit. Daher seien die vor seinem Auszug aus der ehelichen Wohnung begangenen Handlungen, soweit sie den Tatbestand der sexuellen Handlungen mit Kindern im Sinne von <ref-law> erfüllen, mithin ein Grossteil der inkriminierten Straftaten, absolut verjährt (Nichtigkeitsbeschwerde S. 4 ff.).
b) <ref-law> in der Fassung gemäss Bundesgesetz vom 21. Juni 1991, in Kraft seit 1. Oktober 1992, sah für die Straftat der sexuellen Handlungen mit Kindern eine besondere Verjährungsfrist von lediglich fünf Jahren vor; die absolute Verjährungsfrist betrug damit 71⁄2 Jahre. <ref-law> ist durch Bundesgesetz vom 21. März 1997, in Kraft seit 1. September 1997, aufgehoben worden. Die Straftat der sexuellen Handlungen mit Kindern im Sinne von <ref-law> verjährt damit in Anbetracht der angedrohten Strafe - Zuchthaus bis zu fünf Jahren oder Gefängnis - in relativ zehn und absolut 15 Jahren (Art. 70 und Art. 72 Ziff. 2 StGB). Durch das genannte Bundesgesetz ist <ref-law> eine Ziffer 6 beigefügt worden, die bestimmt: Die Strafverfolgung verjährt auch dann in zehn Jahren, wenn die Verjährung der Tat nach der Bestimmung von Ziffer 5 in der Fassung vom 21. Juni 1991 am 1. September 1997 noch nicht eingetreten ist.
In Bezug auf die inkriminierten Straftaten der sexuellen Handlungen mit Kindern im Sinne von <ref-law> begann die Verfolgungsverjährung entgegen einer Bemerkung im angefochtenen Urteil (S. 44 oben) nicht erst ca. im Juni 1991 zu laufen. Denn zu jener Zeit war die am 23. August 1974 geborene Beschwerdegegnerin 1 bereits rund 16 Jahre und 10 Monate alt. Die Straftat der sexuellen Handlungen mit Kindern gemäss <ref-law> konnte der Beschwerdeführer aber nur begehen, solange die Beschwerdegegnerin 1 noch nicht 16 Jahre alt war, also längstens bis zum 22. August 1990. Wann genau vor diesem Zeitpunkt der Beschwerdeführer die Beschwerdegegnerin 1 letztmals sexuell missbrauchte, geht aus dem angefochtenen Urteil nicht hervor und lässt sich wohl auch nicht mehr feststellen. Wie es sich damit verhält, kann indessen dahingestellt bleiben. Der Beschwerdeführer verging sich im Laufe der Zeit an der Beschwerdegegnerin 1, je älter diese wurde, immer öfter, häufig mehrmals pro Woche (siehe dazu angefochtenes Urteil S. 37 i.V.m. der Anklageschrift, insbesondere S. 6 f.). Es ist daher davon auszugehen, dass er die Beschwerdegegnerin 1 jedenfalls auch in der Zeit zwischen dem 1. März 1990 und dem 22. August 1990 sexuell missbrauchte, dass mit andern Worten im Zeitpunkt des Inkrafttretens der neuen Bestimmungen betreffend die Verjährung am 1. September 1997 noch nicht 71⁄2 Jahre verstrichen waren, seitdem der Beschwerdeführer die noch nicht 16 Jahre alte Beschwerdegegnerin 1 letztmals sexuell missbraucht hatte. Der Beschwerdeführer behauptet denn auch selber nicht, dass die ihm angelasteten Taten, soweit sie den Tatbestand der sexuellen Handlungen mit Kindern im Sinne von <ref-law> erfüllen, allesamt verjährt seien.
c) Gemäss <ref-law> beginnt die Verjährung, wenn der Täter die strafbare Tätigkeit zu verschiedenen Zeiten ausführt, mit dem Tag, an dem er die letzte Tätigkeit ausführt. Mehrere strafbare Handlungen bilden verjährungsrechtlich eine Einheit, wenn sie gleichartig und gegen dasselbe Rechtsgut gerichtet sind und - ohne dass bereits ein Dauerdelikt im Sinne von <ref-law> gegeben wäre - als ein andauerndes pflichtwidriges Verhalten zu betrachten sind, welches der in Frage stehende gesetzliche Straftatbestand ausdrücklich oder sinngemäss mitumfasst (<ref-ruling> E. 1a mit Hinweisen). In diesem Fall beginnt die Verfolgungsverjährung für alle strafbaren Handlungen erst mit der letzten Tat. Beim Tatbestand der sexuellen Handlungen mit Kindern im Sinne von <ref-law> ist eine verjährungsrechtliche Einheit grundsätzlich möglich (<ref-ruling>). Ob sie gegeben sei, hängt von den Umständen des konkreten Falles ab.
aa) Der Beschwerdeführer meint, die inkriminierten Handlungen vor seinem Auszug aus der ehelichen Wohnung einerseits und nach seiner Rückkehr in die eheliche Wohnung andererseits bildeten keine verjährungsrechtliche Einheit, da er bei seinem Auszug den Willen gehabt habe, das Zusammenleben mit seiner damaligen Ehefrau und den beiden Stieftöchtern definitiv und für immer aufzugeben, und er lediglich auf deren wiederholtes Drängen nach ca. 2 Monaten in die eheliche Wohnung zurückgekehrt sei. Der subjektive Wille des Täters ist aber für die Frage nach dem Vorliegen einer verjährungsrechtlichen Einheit - anders als beim so genannten fortgesetzten Delikt im Sinne der früheren Rechtsprechung, welches einen so genannten Gesamtvorsatz voraussetzte - nicht von entscheidender Bedeutung. Massgebend sind vielmehr objektive Kriterien (<ref-ruling> E. 1a; <ref-ruling> E. 2 f/bb S. 413).
bb) In Anbetracht der objektiven Umstände ist im vorliegenden Fall mit der Vorinstanz eine verjährungsrechtliche Einheit zu bejahen. Die Trennung dauerte tatsächlich nur ca. 2 Monate und war damit von relativ kurzer Dauer.
Auch während dieser Zeit hatte der Beschwerdeführer Kontakte unter anderem mit der Beschwerdegegnerin 1. Nach seiner Rückkehr in die eheliche Wohnung war die Lage offenkundig nicht eine wesentlich andere als vor seinem Auszug.
Der Beschwerdeführer war unverändert eine Autoritätsperson, und er wandte gegenüber der Beschwerdegegnerin 1 nach wie vor dieselben rüden Erziehungsmethoden an. Der Beschwerdeführer behauptet selber nicht, dass das Verhältnis zur Beschwerdegegnerin 1 nach seiner Rückkehr unter irgendwelchen Gesichtspunkten anders gewesen sei als vor seinem Auszug.
Die eidgenössische Nichtigkeitsbeschwerde ist daher in diesem Punkt abzuweisen.
3.- Gemäss <ref-law> wird wegen sexueller Nötigung mit Zuchthaus bis zu zehn Jahren oder mit Gefängnis bestraft, wer eine Person zur Duldung einer beischlafsähnlichen oder einer anderen sexuellen Handlung nötigt, namentlich indem er sie bedroht, Gewalt anwendet, sie unter psychischen Druck setzt oder zum Widerstand unfähig macht.
Dem Beschwerdeführer wird unter anderem und im Wesentlichen zur Last gelegt, er habe die Beschwerdegegnerin 1 unter vielen Malen gezwungen, ihn manuell und/oder oral zu befriedigen.
a) Der Beschwerdeführer macht wie bereits im kantonalen Verfahren geltend, durch das inkriminierte Verhalten habe er die Beschwerdegegnerin 1 nicht "zur Duldung", sondern allenfalls zur Vornahme von sexuellen Handlungen genötigt; dies sei aber etwas völlig anderes und werde vom Wortlaut von <ref-law> offensichtlich nicht erfasst. Seine Verurteilung wegen sexueller Nötigung verstosse daher gegen <ref-law> sowie gegen das unter anderem in <ref-law> verankerte Legalitätsprinzip (Nichtigkeitsbeschwerde S. 7 ff.).
Die Vorinstanz vertritt unter Hinweis auf die ihres Erachtens herrschende Lehre die Auffassung, der Tatbestand von <ref-law> erfasse entgegen seinem Wortlaut auch die Nötigung des Opfers zu einem aktiven Verhalten, mithin die Nötigung zur Vornahme einer sexuellen Handlung. Der insoweit zu enge Wortlaut des Gesetzes beruhe auf einem gesetzgeberischen Versehen (angefochtenes Urteil S. 45).
b) Strafbar ist nur, wer eine Tat begeht, die das Gesetz ausdrücklich mit Strafe bedroht (<ref-law>). Der Gesetzestext ist Ausgangspunkt der Gesetzesanwendung.
Selbst ein klarer Wortlaut bedarf aber der Auslegung, wenn er vernünftigerweise nicht der wirkliche Sinn des Gesetzes sein kann. Massgebend ist nicht der Buchstabe des Gesetzes, sondern dessen Sinn, der sich namentlich aus den dem Gesetz zu Grunde liegenden Wertungen ergibt, im Wortlaut jedoch unvollkommen ausgedrückt sein kann. Sinngemässe Auslegung kann auch zu Lasten des Beschuldigten vom Wortlaut abweichen. Im Rahmen solcher Gesetzesauslegung ist auch der Analogieschluss erlaubt; denn er dient dann lediglich als Mittel sinngemässer Auslegung. Der Grundsatz "keine Strafe ohne Gesetz" (<ref-law>) verbietet bloss, über den dem Gesetz bei richtiger Auslegung zukommenden Sinn hinauszugehen, also neue Straftatbestände zu schaffen oder bestehende derart zu erweitern, dass die Auslegung durch den Sinn des Gesetzes nicht mehr gedeckt wird (<ref-ruling> E. b S. 118; <ref-ruling> E. 3a S. 72 f., je mit Hinweisen). Die Abgrenzung zwischen zulässiger Auslegung einer Strafbestimmung zu Ungunsten des Beschuldigten und unzulässiger Schaffung neuer Straftatbestände durch Analogieschlüsse ist allerdings schwierig. Das Bestreben, ein strafwürdiges Verhalten tatsächlich auch zu bestrafen, darf nicht mit dem Sinn und Zweck einer Strafnorm vermengt bzw. gleichgesetzt werden. Andererseits ist nicht zu übersehen, dass sich die Frage, ob ein bestimmtes Verhalten unter einen Straftatbestand fällt, eben gerade dann stellt, wenn es als strafwürdig erscheint. Im Rahmen der Auslegung ist auch der Analogieschluss, wie der Umkehrschluss, zulässig (<ref-ruling> E. 2a S. 138 f. mit Hinweisen).
aa) Indem der Beschwerdeführer sein Opfer zwang, ihn manuell und/oder oral zu befriedigen, hat er es nicht "zur Duldung" einer sexuellen Handlung genötigt. Vielmehr hat er es zur Vornahme einer solchen Handlung gezwungen.
Dies wird aber vom Wortlaut von <ref-law> nicht erfasst. Diese Bestimmung erfasst auch nach ihrem französischen und italienischen Wortlaut nur die Nötigung zur Duldung von sexuellen Handlungen ("Celui qui .... l'aura contrainte à subir ..."; "Chiunque costringe una persona a subire ..."). Die Bestimmung unterscheidet sich insoweit beispielsweise von ihrer Vorgänger-Norm, d.h. von Art. 188 aStGB (Nötigung zu einer andern unzüchtigen Handlung), wonach sich strafbar machte, wer eine Person mit Gewalt (etc.) "zur Duldung oder zur Vornahme einer andern unzüchtigen Handlung" zwang. Sie unterscheidet sich insoweit aber auch etwa von <ref-law> (sexuelle Handlungen mit Anstaltspfleglingen, Gefangenen, Beschuldigten) und von <ref-law> (Ausnützung einer Notlage), wonach sich strafbar macht, wer eine Person unter den darin genannten Voraussetzungen veranlasst, "eine sexuelle Handlung vorzunehmen oder zu dulden". Für die sich aus dem Gesetzeswortlaut ergebende Beschränkung des Tatbestands von <ref-law> auf die Nötigung "zur Duldung" von sexuellen Handlungen gibt es keine sachlichen Gründe. Die Beschränkung ist sinnlos. Der Wortlaut von <ref-law> drückt den Sinn der Strafnorm, der sich aus den <ref-law> im Allgemeinen und <ref-law> im Besonderen zu Grunde liegenden Zwecken und Wertungen ergibt, nur unvollständig aus. Das Recht auf Selbstbestimmung in sexueller Hinsicht, welches <ref-law> schützt (siehe <ref-ruling> E. 2b S. 100; <ref-ruling> E. 7a S. 310), wird durch die Nötigung zur Vornahme einer sexuellen Handlung ebenso sehr beeinträchtigt wie durch die Nötigung zur Duldung einer solchen Handlung. Auch die Nötigung, etwas zu tun, ist Nötigung (<ref-law>), und auch die Nötigung, eine sexuelle Handlung vorzunehmen, ist daher "sexuelle Nötigung" (Randtitel von <ref-law>).
Eine Beschränkung des Anwendungsbereichs von <ref-law> auf die Nötigung zur Duldung von sexuellen Handlungen gemäss dem Wortlaut der Bestimmung hat auch der Gesetzgeber nicht gewollt. Vielmehr liegt ein offensichtliches Versehen des Gesetzgebers vor, wie sich auch aus den Gesetzesmaterialen zweifelsfrei ergibt. Nach Art. 191 des Vorentwurfs der Expertenkommission (Nötigung zu einer andern geschlechtlichen Handlung) sollte bestraft werden, "wer eine Person mit Gewalt ... zu einer andern geschlechtlichen Handlung zwingt". Im erläuternden Bericht wird dazu ausgeführt, hinsichtlich der Umschreibung des gesetzlichen Tatbestands werde vom geltenden Recht nur wenig abgewichen (S. 42). Gemäss Art. 190 des bundesrätlichen Entwurfs (Nötigung zu einer andern geschlechtlichen Handlung) sollte bestraft werden, "wer eine Person zu einer andern geschlechtlichen Handlung zwingt, indem er gegen sie Gewalt anwendet ...". In der Botschaft wird dazu festgehalten, Art. 188 des geltenden Rechts werde zu Art. 190. An seinem Inhalt werde nur wenig geändert. Der Bundesrat erachtete es als "unnötig, im Gesetzestext weiterhin ausdrücklich die beiden Varianten der erzwungenen Handlung - Duldung und Vornahme - zu nennen; auch wenn das Opfer bloss duldet, ist der Tatbestand erfüllt, ohne dass dies besonders gesagt werden muss" (BBl 1985 II 1009 ff., 1075, 1114). Der Ständerat, welcher die Vorlage als Erstrat behandelte, stimmte insoweit der Formulierung gemäss dem bundesrätlichen Entwurf zu (AB 1997 S 387, 399). Der Nationalrat schlug dagegen, seiner Kommission folgend, die Formulierung vor: "Wer eine Person zur Duldung einer beischlafsähnlichen oder einer anderen geschlechtlichen Handlung nötigt, ...." (AB 1990 N 2300, 2323). Die Wendung "zur Duldung" war auch im Vorschlag des Nationalrats zum Tatbestand der Vergewaltigung, insoweit dem bisherigen Tatbestand der Notzucht entsprechend, enthalten ("Wer ...
zur Duldung des ... Beischlafs nötigt"; AB 1990 N 2301), während im bundesrätlichen Entwurf, welchem der Ständerat auch insoweit zustimmte, wie schon im Vorentwurf der Expertenkommission kurz vom "Beischlaf" die Rede war ("Wer ... zum ... Beischlaf zwingt ..."). In den parlamentarischen Kommissionen war unter anderem darüber diskutiert worden, ob die beiden Tatbestände der Vergewaltigung und der Nötigung zu andern geschlechtlichen Handlungen in einem einzigen Tatbestand geregelt werden könnten, woraus sich beispielsweise die Formulierung ergeben hätte, dass sich strafbar mache, wer zur Duldung des Beischlafs oder einer anderen geschlechtlichen Handlung nötige. Die Zusammenfassung der beiden Tatbestände in einen einzigen Tatbestand wurde in den Kommissionen aber mehrheitlich abgelehnt. Die beiden Tatbestände wurden getrennt geregelt, doch blieb - in den Vorschlägen der nationalrätlichen Kommission, welchen der Nationalrat und in der Folge auch der Ständerat insoweit zustimmte - die Wendung "zur Duldung" nicht nur beim Tatbestand der Vergewaltigung, sondern auch beim Tatbestand der sexuellen Nötigung bestehen.
Niemand bemerkte, dass bei diesem Wortlaut der Anwendungsbereich des Tatbestands der sexuellen Nötigung in sachwidriger Weise eingeschränkt wird.
bb) Unter diesen Umständen ist eine berichtigende Auslegung von <ref-law> durch die Rechtsprechung in dem Sinne, dass die Bestimmung über ihren Wortlaut hinaus nicht nur die Nötigung zur Duldung, sondern, entsprechend ihrem Sinn und Zweck und dem Willen des Gesetzgebers, auch die Nötigung zur Vornahme von sexuellen Handlungen erfasst, mit dem Legalitätsprinzip im Sinne von <ref-law> vereinbar. Eine Anwendung der Bestimmung streng nach dem engen Wortlaut, der offensichtlich auf einem gesetzgeberischen Versehen beruht, würde zu sachwidrigen und offenkundig stossenden Ergebnissen führen. Eine berichtigende Auslegung wird denn auch von der herrschenden Lehre, wenn auch teilweise mit Bedenken, akzeptiert (siehe Trechsel, Schweizerisches Strafgesetzbuch, Kurzkommentar,
2. Aufl. 1997, Art. 189 N. 10; Stratenwerth, Schweizerisches Strafrecht, Bes. Teil I, 5. Aufl. 1995, § 8 N. 27; Jenny, Kommentar zum schweizerischen Strafrecht, 1997, <ref-law> N. 37; Rehberg/Schmid, Strafrecht III, 7. Aufl. 1997, S. 389 f.; Philipp Maier, Die Nötigungsdelikte im neuen Sexualstrafrecht, Diss. Zürich 1994, S. 279 ff.; Peter Hangartner, Selbstbestimmung im Sexualbereich - Art. 188 - 193 StGB, Diss. St. Gallen 1997, S. 77 f.). Der Gesetzgeber sollte allerdings sein Versehen bei Gelegenheit korrigieren.
Die eidgenössische Nichtigkeitsbeschwerde ist demnach auch in diesem Punkt abzuweisen.
4.- Nach der Auffassung der Vorinstanz hat der Beschwerdeführer das Opfer zu sexuellen Handlungen genötigt, indem er es im Sinne von <ref-law> unter psychischen Druck gesetzt hat. Der Beschwerdeführer macht geltend, dieses Tatbestandsmerkmal sei nicht erfüllt.
a) Der Anwendungsbereich der neurechtlichen Tatbestände der sexuellen Nötigung (<ref-law>) und der Vergewaltigung (<ref-law>) ist nach dem Willen des Gesetzgebers weiter als der Anwendungsbereich der altrechtlichen Tatbestände der Nötigung zu einer andern unzüchtigen Handlung (Art. 188 aStGB) und der Notzucht (Art. 187 aStGB). Neurechtlich ist nicht mehr eine "schwere Drohung" erforderlich, sondern reicht eine "Drohung" aus. Die Aufzählung der Nötigungsmittel im neuen Recht ist nicht abschliessend ("namentlich"). Neu wird das Nötigungsmittel des "Unter-psychischen-Druck-Setzens" genannt.
Dieses Merkmal, wie überhaupt der Begriff des "psychischen Drucks", findet sich in keiner andern Strafbestimmung des StGB. Es beruht auf einem Vorschlag der Kommission des Nationalrats, welcher das neue Sexualstrafrecht als Zweitrat behandelt hat.
Die Notwendigkeit sowie Bedeutung und Tragweite des Merkmals sind in der Lehre umstritten. Als Anwendungsfälle werden insbesondere Gewalt und Drohung gegen Sympathiepersonen des Opfers sowie fortlaufende Drangsalierungen bzw. andauernder "Psychoterror" gegen das Opfer selbst genannt (Trechsel, a.a.O., Art. 189 N. 6; Stratenwerth, a.a.O., § 8 N. 9; zum Ganzen Philipp Maier, Das Tatbestandsmerkmal des Unter-psychischen-Druck-Setzens im Schweizerischen Strafgesetzbuch, ZStrR 117/1999 S. 402 ff.). Die Rechtsprechung fasst den Begriff weiter, insbesondere soweit Kinder die Opfer und im gleichen Haushalt lebende erwachsene Bezugspersonen die Täter sind (siehe <ref-ruling>; <ref-ruling>; vgl. auch BGE <ref-ruling>). Die Tatbestandsvariante des "Unter-psychischen-Druck-Setzens" stellt klar, dass sich die tatbestandsmässige Ausweglosigkeit der Situation auch ergeben kann, ohne dass der Täter eigentliche Gewalt anwendet, dass dem Opfer vielmehr eine Widersetzung unter solchen Umständen nicht zuzumuten ist.
Auch eine kognitive Unterlegenheit oder emotionale wie soziale Abhängigkeit können einen ausserordentlichen psychischen Druck erzeugen. Ob die tatsächlichen Verhältnisse die tatbeständlichen Anforderungen eines Nötigungsmittels erfüllen, lässt sich erst auf Grund einer umfassenden Würdigung der relevanten konkreten Umstände entscheiden (<ref-ruling> E. 3b S. 129; <ref-ruling> E. 3b S. 159; Jenny, a.a.O., Art. 189 N. 23 ff., 28).
b) Der Beschwerdeführer heiratete die Mutter der Beschwerdegegnerin 1, als Letztere ca. 61⁄2 Jahre alt war.
Der Beschwerdeführer war ca. 181⁄2 Jahre älter als seine Stieftochter. Die sexuellen Übergriffe begannen, als das Opfer rund 10 Jahre alt war. Der Beschwerdeführer wandte gegenüber den beiden Stieftöchtern, insbesondere aber gegenüber der Beschwerdegegnerin 1, äusserst rüde Erziehungsmethoden an. Die Erziehung beruhte nicht auf Verständnis, Vertrauensbildung und Förderung der Persönlichkeit, sondern auf Unterwerfung und Unterdrückung. Der Beschwerdeführer verlangte absoluten Gehorsam und duldete keinen Widerspruch. Die Beschwerdegegnerin 1 wurde regelmässig aus nichtigen Gründen angeschrieen, bestraft und auch geschlagen. Es herrschte ein Klima der ständigen Angst, etwas falsch zu machen und sich damit den Zorn des Beschwerdeführers zuzuziehen (angefochtenes Urteil S. 45 ff.).
In Anbetracht dieser Umstände war die Beschwerdegegnerin 1 im Sinne von <ref-law> unter psychischen Druck gesetzt. Sie konnte sich den sexuellen Übergriffen des Beschwerdeführers nicht widersetzen, da sie andernfalls zusätzliche Strafen riskiert hätte. Sie befand sich zudem in einem besonderen Dilemma, weil sie sich den Beschwerdeführer als "richtigen Vater" wünschte, ihn als solchen betrachtete und kindlich liebte. Ausserdem war der Beschwerdeführer gerade dann besonders lieb zu ihr und ein ganz anderer Mensch, wenn er seine Ansinnen nach sexuellen Handlungen an sie richtete. Das Opfer fügte sich, weil es unter psychischen Druck gesetzt war.
c) Was der Beschwerdeführer dagegen vorbringt, ist unbegründet. Die Vorinstanz hat das Tatbestandsmerkmal des "Unter-psychischen-Druck-Setzens" nicht allein mit dem Stiefvater/Kind-Verhältnis und der daraus sich ergebenden Autorität bzw. psychischen und physischen Überlegenheit des Stiefvaters begründet. Vielmehr hat sie entscheidend darauf abgestellt, dass der Beschwerdeführer durch seine rüden Erziehungsmethoden ein Klima der ständigen Angst schuf. Das Opfer war damit einem psychischen Druck ausgesetzt, der in seiner nötigenden Wirkung den Nötigungsmitteln der Gewalt und der Drohung vergleichbar ist. Unerheblich ist, dass die Aufforderungen zu sexuellen Handlungen als solche angeblich nie einen befehlenden Ton annahmen oder mit irgendwelchen Nachteilsandrohungen verbunden waren. In Anbetracht der rüden Erziehungsmethoden des Beschwerdeführers und des dadurch geschaffenen Klimas der ständigen Angst stand die Beschwerdegegnerin 1 andauernd unter psychischem Druck, mithin auch in den Momenten, in denen der Beschwerdeführer seine Ansinnen an sie richtete und dabei besonders lieb zu ihr war. Auch wenn der Beschwerdeführer seine rüden Erziehungsmethoden offenbar aus grundsätzlichen Überlegungen anwandte, so setzte er sie doch auch dafür ein, um den Boden für die sexuellen Übergriffe zu bereiten; zwischen der Häufigkeit der körperlichen Züchtigungen und der Intensität der sexuellen Übergriffe besteht nach den Feststellungen der Vorinstanz ein klarer Zusammenhang (siehe angefochtenes Urteil S. 47). Unerheblich ist, dass das Opfer gelegentlich Mittel und Wege fand, um an schulfreien Nachmittagen das Haus zu verlassen und damit der Situation auszuweichen, in welcher es zu sexuellen Übergriffen kommen konnte.
Unerheblich ist ferner, dass es sogar Situationen gegeben habe, in denen die Beschwerdegegnerin 1 gewisse sexuelle Praktiken verweigert habe, was vom Beschwerdeführer akzeptiert worden sei. Das Opfer stand gleichwohl aus den genannten Gründen ständig unter psychischem Druck, der für die ihm abgenötigten sexuellen Handlungen kausal war.
<ref-law> setzt nicht gleichsam eine totale Widerstandsunfähigkeit in dem Sinne voraus, dass das Opfer jederzeit alles tut, was von ihm gefordert wird (siehe auch <ref-ruling> ff., 101).
Die eidgenössische Nichtigkeitsbeschwerde ist daher auch in diesem Punkt abzuweisen.
5.- a) Der Beschwerdeführer verübte die inkriminierten Handlungen in der Zeit von ca. August 1984 bis ca.
Juni 1991. Er erfüllte nach der Auffassung der Vorinstanz die Tatbestände der sexuellen Handlungen mit Kindern im Sinne von <ref-law> und, in Idealkonkurrenz, der sexuellen Nötigung im Sinne von <ref-law>.
Allerdings wurde die Beschwerdegegnerin 1 am 23. August 1990 16 Jahre alt. Ab diesem Zeitpunkt konnte daher der Beschwerdeführer gemäss einer zutreffenden Bemerkung in der Beschwerde (S. 13) den Tatbestand der sexuellen Handlungen mit Kindern im Sinne von <ref-law> zum Nachteil der Beschwerdegegnerin 1 nicht mehr erfüllen. Die Vorinstanz scheint dies bzw. das Datum des 16. Geburtstags der Beschwerdegegnerin 1 übersehen zu haben; jedenfalls unterscheidet sie nicht ausdrücklich zwischen den inkriminierten Handlungen vor und den inkriminierten Handlungen nach dem 16. Geburtstag des Opfers (siehe angefochtenes Urteil S. 49).
b) Eine Rückweisung der Sache an die Vorinstanz in teilweiser Gutheissung der Nichtigkeitsbeschwerde in diesem Punkt kann indessen entgegen dem Antrag des Beschwerdeführers unterbleiben. Der Zeitraum der deliktischen Tätigkeit erstreckte sich von ca. August 1984 bis ca. Juni 1991. Der Beschwerdeführer beging die meisten Handlungen zum Nachteil der Beschwerdegegnerin 1, bevor diese am 23. August 1990 das 16. Altersjahr erreichte.
Insoweit ist nach der zutreffenden Auffassung der Vorinstanz Idealkonkurrenz zwischen Art. 187 Ziff. 1 und <ref-law> gegeben, wobei die sexuelle Nötigung die schwerere Tat ist. Es kann ausgeschlossen werden, dass die Vorinstanz eine niedrigere Strafe ausgefällt hätte, wenn sie berücksichtigt hätte, dass der Beschwerdeführer durch die inkriminierten Handlungen in der Zeit vom 23. August 1990 bis ca. Juni 1991 einzig den Tatbestand der sexuellen Nötigung und nicht auch den Tatbestand der sexuellen Handlungen mit Kindern erfüllt hat.
Die eidgenössische Nichtigkeitsbeschwerde ist daher auch in diesem Punkt abzuweisen.
6.- Im Auftrag der Bezirksanwaltschaft Horgen wurde am 13. November 1996 ein psychiatrisches Gutachten betreffend den Beschwerdeführer erstattet (kant. Akten HD 2 8/2).
a) Auf die Frage, wie der Geisteszustand des Beschuldigten heute und in der Zeit der inkriminierten Straftaten (1985 - 1991) zu beurteilen sei, antwortete der Experte: "Es gibt keine Hinweise, dass der Explorand unter einer psychischen Krankheit leidet, weder heute noch von 1985 bis 1991" (Gutachten S. 15).
Auf die Frage, ob und gegebenenfalls in welchem Grade die Fähigkeit des Beschuldigten zur Einsicht in das Unrecht der ihm angelasteten Taten und/oder zu einsichtsgemässem Handeln eingeschränkt oder gar aufgehoben gewesen sei, antwortete der Gutachter: "Der Explorand bestreitet die inkriminierten Taten, weshalb ich, wie es in den Vorbemerkungen dargelegt wurde, auf diese Fragen nicht eingehen kann" (Gutachten S. 15). In den Vorbemerkungen hielt der Gutachter fest, dass der Explorand nach wie vor bestreite, die inkriminierten Taten begangen zu haben. Eine Tatanamnese sei nicht möglich. Um als psychiatrischer Sachverständiger die Schuldfähigkeit und die Zurechnungsfähigkeit eines Täters zur Zeit der Taten beurteilen zu können, sei es notwendig, die Motive des Täters sowie dessen Gedanken und Gefühle vor, während und nach den Taten zu kennen. Der Explorand bestreite aber, jemals sexuelles Verlangen nach den beiden Mädchen oder gar sexuelle Kontakte mit ihnen gehabt zu haben. (Zudem lägen auch keine objektiven äusseren Beschreibungen der inkriminierten Taten von Drittpersonen oder Videos der inkriminierten Taten vor, die es unter Umständen zulassen würden, auf die inneren Beweggründe des Beschuldigten zu schliessen).
Der Gutachter sah sich daher ausser Stande, zur Schuldfähigkeit und Zurechnungsfähigkeit im Sinne von Art. 10 und 11 StGB Stellung zu nehmen (Gutachten S. 3).
Die Vorinstanz ging, wie schon die erste Instanz, davon aus, dass der Beschwerdeführer voll zurechnungsfähig gewesen sei. Nachdem der Gutachter keinerlei Hinweise für eine psychische Beeinträchtigung des Beschuldigten habe finden können, bestehe kein Grund für die Annahme, dies sei in dem - über Jahre dauernden - Tatzeitraum anders gewesen, ohne später Spuren zu hinterlassen (angefochtenes Urteil S. 55). Wenn der Experte als Vorbemerkung angebe, er könne die Schuld- und Zurechnungsfähigkeit des nicht geständigen Beschuldigten zur Zeit der Taten nicht beurteilen, da dazu Kenntnisse über die Motive, Gefühle und Gedanken eines Täters notwendig seien, so sei nicht einzusehen, inwiefern ein Schuldinterlokut an dieser Situation etwas zu verändern vermöchte. Der Beschuldigte habe sich auch nach der erstinstanzlichen Verurteilung nicht zu einem Geständnis durchringen können, so dass nicht zu erwarten sei, er werde nach dem zweitinstanzlichen Schuldspruch bereitwillig über seine Tatmotive Auskunft geben. Somit wäre auch nach Durchführung eines Schuldinterlokuts kein aussagekräftigeres Gutachten als das bereits vorliegende möglich (angefochtenes Urteil S. 54).
b) Der Beschwerdeführer macht geltend, offenbar habe der Gutachter über keinerlei Protokolle von Einvernahmen der Geschädigten verfügt. Anders sei sein Hinweis, dass ihm keinerlei objektiven äusseren Beschreibungen der inkriminierten Taten vorgelegen hätten, nicht zu verstehen.
Hätte die Untersuchungsbehörde dem Gutachter alle erforderlichen Akten, insbesondere auch die Protokolle der Aussagen der Geschädigten, zur Verfügung gestellt, so wäre dieser - nach eigener Darstellung - in der Lage gewesen, die Frage nach der Verminderung der Zurechnungsfähigkeit zu beantworten. Bei mehrfachen Sexualdelikten bestünden nach der Rechtsprechung von vornherein Zweifel an der geistigen Gesundheit eines Täters. Zudem halte die Vorinstanz fest, die Art der Tatbegehung weise auf Befriedigung des Geltungsdrangs und des Bedürfnisses nach Machtausübung hin. Dies aber spricht nach der Meinung des Beschwerdeführers für eine erhebliche Verminderung der Zurechnungsfähigkeit.
Die vorliegende Expertise könne nicht als ein eigentliches Gutachten akzeptiert werden, da sie sich zur entscheidenden Frage nach dem Zusammenhang zwischen den inkriminierten Taten und einer Störung des Geisteszustandes des Beschwerdeführers überhaupt nicht äussere. Indem die Vorinstanz dazu kein Gutachten eingeholt habe, habe sie <ref-law> verletzt.
Die Einwände sind zum einen unbegründet und gehen zum andern an der Sache vorbei.
aa) Der Gutachter verfügte nach seinen eigenen Angaben in der Expertise über diverse "Untersuchungsakten".
Es kann angenommen werden, dass diese auch die Protokolle von Einvernahmen der Geschädigten enthielten.
Unter den "objektiven äusseren Beschreibungen der inkriminierten Taten", welche fehlten (Gutachten S. 3), verstand der Experte offenkundig Beschreibungen von unbeteiligten Dritten. Im Übrigen liessen solche Beschreibungen, wie auch etwa Videos, laut Gutachten (S. 3) lediglich "unter Umständen" Rückschlüsse auf die Beweggründe des Täters zu.
bb) Der Gutachter sah sich zur Beantwortung der Fragen der Bezirksanwaltschaft nach der Verminderung von Einsichts- und/oder Bestimmungsfähigkeit im Grundsatz und im Umfang ausser Stande, weil der Beschwerdeführer die Taten bestritt und somit keine Aussagen über dessen Beweggründe und Gedanken vor, während und nach den Taten vorlagen. Der Beschwerdeführer bestritt die Taten auch noch nach seiner erstinstanzlichen Verurteilung im Berufungsverfahren.
Die Vorinstanz ging daher davon aus, dass er sie auch bei einem allfälligen obergerichtlichen Schuldinterlokut (Entscheidung vorerst allein im Schuldpunkt und erst später auch im Strafpunkt) in Abrede stellen würde. Damit setzt sich der Beschwerdeführer nicht auseinander. Er legt auch nicht dar, inwiefern und weshalb ein anderer Experte ungeachtet der Bestreitung der Taten zuverlässige Angaben über eine allfällige Verminderung der Einsichts- und/oder Bestimmungsfähigkeit im Grundsatz und im Umfang machen könnte.
cc) Zurechnungsunfähigkeit und Verminderung der Zurechnungsfähigkeit setzen voraus, dass der Täter "wegen Geisteskrankheit, Schwachsinn oder schwerer Störung des Bewusstseins" bzw. weil er "in seiner geistigen Gesundheit oder in seinem Bewusstsein beeinträchtigt oder geistig mangelhaft entwickelt" war, unfähig oder nur beschränkt fähig war, das Unrecht seiner Taten einzusehen resp. gemäss seiner Einsicht in das Unrecht der Taten zu handeln.
Das damit umschriebene so genannte "biologische" Merkmal ist eine selbstständige Voraussetzung für die Anwendung von Art. 10 f. StGB.
Der Experte hielt fest, dass der (übrigens auch körperlich gesunde) Explorand unter keiner psychischen Krankheit und auch unter keiner Persönlichkeitsstörung leide, welche im Sinne des Strafgesetzbuches von Bedeutung wäre (Gutachten S. 12), bzw. dass es keine Hinweise gebe, dass der Explorand unter einer psychischen Krankheit leide, weder heute noch im Zeitraum der inkriminierten Taten (Gutachten S. 15). In Anbetracht dieser Ausführungen, mit denen sich der Beschwerdeführer nicht auseinander setzt, ist aber jedenfalls die eine Voraussetzung für die Anwendung von Art. 10 f. StGB, nämlich das biologische Element, nicht gegeben.
dd) Gemäss den Ausführungen des Gutachters ist ein übersteigertes Geltungsbedürfnis ein deutlich hervorstechender Charakterzug des Exploranden, der sich in seinen verschiedenen Altersphasen und in allen Lebensbereichen zeige. Auch die auffallend vielen Seitensprünge des Exploranden während der ersten Ehe seien unter anderem Ausdruck dieses starken Geltungsbedürfnisses (Gutachten S. 13). Trotz dieses diagnostizierten Geltungsbedürfnisses hat der Gutachter eine psychische Krankheit und eine Persönlichkeitsstörung, welche im Sinne des Strafgesetzbuches von Bedeutung wäre, verneint. Der Einwand des Beschwerdeführers, sein von der Vorinstanz festgestellter Geltungsdrang (angefochtenes Urteil S. 52) deute auf eine erhebliche Verminderung seiner Zurechnungsfähigkeit zur Zeit der Taten hin, ist daher unbegründet.
Die eidgenössische Nichtigkeitsbeschwerde ist demnach auch in diesem Punkt abzuweisen, soweit darauf einzutreten ist.
7.- Der Beschwerdeführer ficht schliesslich die Strafzumessung an. Die ausgefällte Strafe von 51⁄2 Zuchthaus sei viel zu hoch. Die vorinstanzlichen Erwägungen genügten den Anforderungen an die Begründung einer solchen Strafe nicht. Der Beschwerdeführer vermag indessen nicht darzulegen, weshalb und inwiefern die ausgefällte Strafe im Ergebnis oder in der Begründung bundesrechtswidrig sei.
Der Beschwerdeführer hat seine am 23. August 1974 geborene Stieftochter in der Zeit von ca. August 1984 bis ca. Juni 1991 in regelmässigen zeitlichen Abständen, oft mehrmals wöchentlich, unter vielen Malen sexuell missbraucht, indem er sie insbesondere zwang, ihn manuell und oral zu befriedigen. Die Taten wiegen offensichtlich objektiv und subjektiv sehr schwer. Die Vorinstanz hat strafmildernd berücksichtigt, dass sich der Beschwerdeführer seit der letzten Tat ca. im Juni 1991 wohl verhalten und dass das Verfahren wegen verschiedener Verfahrensmängel lange gedauert hat. Sie hat darauf hingewiesen, dass er sich im Juli 1994 wieder verheiratet und seine neue Gattin einen Sohn aus erster Ehe mit in die Ehe gebracht hat. Wohl mag es zutreffen, dass der Vollzug einer mehrjährigen Freiheitsstrafe die auch durch diese neue Eheschliessung erreichte Stabilität ins Wanken bringen kann.
Dies ist indessen kein Grund, eine andere als die dem Verschulden angemessene Strafe auszufällen. Die Strafe von 51⁄2 Jahren Zuchthaus und ihre Begründung im angefochtenen Urteil (S. 50 ff.) sind plausibel und nachvollziehbar.
Die eidgenössische Nichtigkeitsbeschwerde ist daher auch in diesem Punkt abzuweisen.
8.- Der Beschwerdeführer ersucht um die Gewährung der unentgeltlichen Rechtspflege. Seine finanzielle Bedürftigkeit ist ausgewiesen. Die eidgenössische Nichtigkeitsbeschwerde war nicht in allen Teilen von vornherein aussichtslos.
Das Gesuch ist daher teilweise gutzuheissen.
Demnach hat der Beschwerdeführer eine reduzierte Gerichtsgebühr von Fr. 400.-- zu bezahlen. Seinem Vertreter, Rechtsanwalt Urs Vögeli, Zürich, wird eine reduzierte Entschädigung von Fr. 1'500.-- aus der Bundesgerichtskasse ausgerichtet.

Demnach erkennt das Bundesgericht:
1.- Die eidgenössische Nichtigkeitsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Das Gesuch um Gewährung der unentgeltlichen Rechtspflege wird teilweise gutgeheissen.
3.- Die Gerichtsgebühr von Fr. 400.-- wird dem Beschwerdeführer auferlegt.
4.- Dem Vertreter des Beschwerdeführers, Rechtsanwalt Urs Vögeli, Zürich, wird eine Entschädigung von Fr. 1'500.-- aus der Bundesgerichtskasse ausgerichtet.
5.- Dieses Urteil wird den Parteien, der Staatsanwaltschaft und dem Obergericht des Kantons Zürich schriftlich mitgeteilt.
_
Lausanne, 8. Oktober 2001
Im Namen des Kassationshofes
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: