(Strafverfahren), hat sich ergeben:
A.- Das Bezirksgericht Zürich verurteilte S._ am 30. Juni 1994 wegen mehrfacher Vergewaltigung im Sinne von Art. 190 Abs. 1 StGB, teilweise in Verbindung mit Art. 190 Abs. 3 StGB sowie Freiheitsberaubung und Entführung im Sinne von Art. 183 Ziff. 1 StGB und Verstosses gegen Art. 23 Abs. 1 al. 4 i.V.m. Art. 13 Abs. 1 ANAG zu 7 Jahren Zuchthaus. Es hielt für erwiesen, dass der illegal in die Schweiz eingereiste S._ am 18. August 1993, um zirka 01 Uhr, B._ in einem Zimmer in X._ unter Anwendung von Drohungen und Schlägen gegen ihren Willen zum Geschlechtsverkehr zwang, sie in der folgenden Nacht zunächst gegen ihren Willen unter Drohungen und Gewaltanwendung ins Zimmer in X._ zurückbrachte und dort unter Bedrohung mit einem Messer zweimal vergewaltigte.
Auf Berufung von S._ hin bestätigte das Obergericht des Kantons Zürich am 5. Juli 1996 das erstinstanzliche Urteil im Schuldpunkt, reduzierte die Strafe jedoch auf 4 1/2 Jahre Zuchthaus.
B.- Das Kassationsgericht des Kantons Zürich hiess am 10. April 1997 die Nichtigkeitsbeschwerde von S._ gut, hob das obergerichtliche Urteil auf und wies die Sache im Sinne der Erwägungen an die Vorinstanz zurück. Es erwog, die Konfrontationseinvernahmen der Geschädigten B._ vom 26./27. August 1993 mit S._, auf welcher der Schuldspruch u.a. beruhe, sei mit Nichtigkeitsgründen behaftet, da nicht ersichtlich sei, dass S._ rechtsgültig auf die Teilnahme an der Fortsetzung der Einvernahme vom 27. August 1993 verzichtet habe. Die Aussagen der Geschädigten seien aber auch deshalb nicht zu Lasten des Beschwerdeführers verwertbar, weil sich aus den Akten nicht ergebe, wer die Aussagen der Geschädigten für S._ übersetzt habe und ob dieser Übersetzer nach Art. 307 StGB in die Pflicht genommen worden sei.
C.- Das Obergericht bestätigte nach einer Ergänzung der Untersuchung mit Urteil vom 1. September 1999 sein erstes Urteil, reduzierte jedoch die Strafe wegen der (über-)langen Verfahrensdauer auf 4 Jahre Zuchthaus.
Zur Frage des unbekannten bzw. nicht in die Pflicht genommenen Übersetzers kam das Obergericht zum Schluss, der Übersetzer in der Person des gerichtserfahrenen Y._ sei gehörig ermahnt worden. Hinzu komme, dass dieser am 26. August 1993 nur unter dem Aspekt des rechtlichen Gehörs des Angeklagten beigezogen worden sei, um die von einer anderen Dolmetscherin von der slowakischen in die deutsche Sprache übersetzten Aussagen der Zeugin für den Angeklagten auf Albanisch zu übersetzen. Bei dieser Konstellation sei die fehlende Protokollierung der Ermahnung nach Art. 307 und 320 StGB von vornherein nicht geeignet, die Gültigkeit der Aussagen der Geschädigten zu tangieren.
In Bezug auf die Durchführung der Einvernahme vom 26. August 1993 hätten S._ und sein Verteidiger rechtsgültig darauf verzichtet, unmittelbar mit der Zeugin B._ konfrontiert zu werden, weshalb diese formgültig erfolgt sei. Ergänzend sei hinzuzufügen, dass die Einwände gegen deren Durchführung auch rechtsmissbräuchlich seien.
Was schliesslich die am 27. August 1993 erfolgte Einvernahme der Geschädigten als Zeugin betreffe, so seien sie für den Ausgang des Verfahrens nicht massgebend, weshalb auf sie nicht abzustellen sei. Es könne daher offen bleiben, ob sie formgültig erfolgt seien.
D.- Das Kassationsgericht wies die neuerliche Nichtigkeitsbeschwerde von S._ gegen den obergerichtlichen Entscheid am 4. Dezember 2000 ab. Es erwog, das Obergericht sei in Willkür verfallen, indem es angenommen habe, die von ihm angeordnete Ergänzung der Untersuchung hätte den Nachweis dafür erbracht, dass der Dolmetscher an der umstrittenen Konfrontationseinvernahme nach Art. 307 bzw. 320 StGB ermahnt worden sei. Es stehe zudem fest, dass diese Belehrung des Dolmetschers nach Zürcher Prozessrecht Gültigkeitserfordernis sei. Das Obergericht habe indessen in einer Eventualbegründung in haltbarer Weise erwogen, S._ habe die Rüge der fehlenden Ermahnung des Dolmetschers verspätet erhoben und damit verwirkt, weshalb sich die Berufung darauf als rechtsmissbräuchlich erweise.
E.- Mit staatsrechtlicher Beschwerde vom 14. Februar 2001 wegen Verletzung von Art. 9 und Art. 32 Abs. 2 BV sowie Art. 6 Ziff. 3 lit. d EMRK beantragt S._, dieses Urteil des Kassationsgerichts aufzuheben. Ausserdem ersucht er um unentgeltliche Rechtspflege und Verbeiständung.
Die Staatsanwaltschaft und das Kassationsgericht verzichten auf Vernehmlassung. B._ beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei.
S._ sei zu verpflichten, ihr eine Umtriebsentschädigung von Fr. 3'000.-- zu bezahlen. Ausserdem ersucht sie um unentgeltliche Rechtspflege und Verbeiständung.

Das Bundesgericht zieht in Erwägung:
1.- Beim angefochtenen Urteil des Kassationsgerichts handelt es sich um einen letztinstanzlichen kantonalen Endentscheid (Art. 86 Abs. 1 OG). Der Beschwerdeführer ist durch die strafrechtliche Verurteilung in seinen rechtlich geschützten Interessen berührt (Art. 88 OG) und er macht die Verletzung von verfassungsmässigen Rechten geltend (Art. 84 Abs. 1 lit. b OG). Da diese und die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde, unter dem Vorbehalt gehörig begründeter Rügen (Art. 90 Abs. 1 lit. b OG; <ref-ruling> E. 1; <ref-ruling> E. 1b; <ref-ruling> E. 1c).
2.- a) Das Kassationsgericht ist im angefochtenen Entscheid zur Auffassung gelangt, die umstrittene Konfrontationseinvernahme vom 26. August 1993 sei unverwertbar, weil nicht feststehe, dass der Übersetzer in die Pflicht genommen worden sei. Dies gehe jedoch bereits aus den Einvernahmeprotokollen und der Aktennotiz des Bezirksanwaltes vom 27. August 1993 hervor, welche immer in den Akten gelegen hätten und damit den verschiedenen Verteidigern des Beschwerdeführers stets zugänglich gewesen seien. An der erstinstanzlichen Hauptverhandlung vom 30. Juni 1994 habe der damalige Verteidiger zwar den Antrag gestellt, die Konfrontationseinvernahme vom 26./27. August 1993 zu wiederholen, dies aber ausschliesslich mit inhaltlichen Unstimmigkeiten in den Aussagen der Geschädigten begründet. Nachdem das Bezirksgericht diesen Antrag noch abgelehnt habe, habe ihm das Obergericht im Berufungsverfahren entsprochen. Anlass dieser Ergänzung der Untersuchung sei indessen weder aus Sicht der Gerichts noch des damals bereits vom heutigen Verteidiger vertretenen Beschwerdeführers Formmängel der ursprünglichen Einvernahme der Geschädigten gewesen, sondern die nachträglich eingereichten Aussagenwiderrufe bzw. Abstandserklärungen der Geschädigten und ihrer Mutter. Anlässlich der rechtshilfeweisen Befragung der Geschädigten in der Slowakei, wozu der Verteidiger Gelegenheit erhalten habe, einen Fragenkatalog einzureichen, sei der nunmehr zur Diskussion stehende Verfahrensfehler der ersten Einvernahme nicht geltend gemacht worden. Es sei unter diesen Umständen nicht zu beanstanden, dass das Obergericht die erstmals an der obergerichtlichen Hauptverhandlung vom 2. Mai 1996 erhobene Rüge, die Einvernahme vom 26. August 1993 leide an einem wesentlichen Formmangel, als verspätet und damit rechtsmissbräuchlich abgewiesen habe. Es sei anerkannt, dass der Angeklagte auf die Ausübung seiner Parteirechte bzw. auf die Geltendmachung von Verfahrensmängeln verzichten könne. Der Beschwerdeführer habe vorliegend im Rahmen der rechtshilfeweise durchgeführten erneuten Befragung der Geschädigten Anlass und Gelegenheit gehabt, Rügen zu erheben und durch das Stellen entsprechender Fragen die Behebung der Mängel zu verlangen. Da er dies unterlassen habe, sei davon auszugehen, das er bewusst auf das Recht zur Geltendmachung dieses Formmangels verzichtet habe.
b) Der Verteidiger des Beschwerdeführers macht geltend, die Auffassung des Kassationsgerichts, er habe bewusst auf die Geltendmachung des Formmangels verzichtet, sei willkürlich. Die Mängel des bezirksgerichtlichen Verfahrens seien derart gravierend gewesen, dass das Obergericht unmittelbar nach seiner Beweiserweiterungseingabe einen Beweiserweiterungsbeschluss gefasst habe. Er habe den Fall unmittelbar zuvor neu übernommen, weshalb von ihm nicht habe verlangt werden können, bereits in dieser Beweiserweiterungseingabe Fragen für alle Eventualitäten zu formulieren. Das Beweisthema sei von allem Anfang an eingeschränkt gewesen auf die Frage, wie es zum notariell beurkundeten Widerruf der Belastungen durch die Geschädigte und ihre Mutter gekommen sei. Auch wenn er Gelegenheit erhalten habe, Ergänzungen zum Fragenkatalog zu formulieren, so habe dies nicht bedeutet, dass er alle denkbaren Fragen hätte vorbringen müssen, er habe sich auf das vom Obergericht vorgegebene Beweisthema beschränken dürfen. Anlässlich der rechtshilfeweisen Befragung der Geschädigten vom 30. August 1995 habe er sich bemüht, durch den Widerruf des Widerrufs durch die Geschädigte veranlasste Ergänzungsfragen zu stellen, was aber vom zuständigen Bezirksanwalt nicht zugelassen worden sei. Am 21. September 1995 sei dem Beschwerdeführer Gelegenheit geboten worden, in Anwesenheit des Verteidigers zu den rechtshilfeweisen Einvernahmen der Geschädigten Stellung zu nehmen; auch dabei sei er jedoch nach Treu und Glauben nicht verpflichtet gewesen, bereits alle Angriffs- und Verteidigungsmittel zu nennen. Nach Zürcher Prozessordnung habe die Berufung Devolutiveffekt, alle Angriffs- und Verteidigungsmittel könnten daher grundsätzlich bis zur obergerichtlichen Hauptverhandlung vorgebracht werden. Im vorliegenden komplexen Fall könne unter diesen Umständen sicher nicht davon ausgegangen werden, dass er bewusst und unzweideutig darauf verzichtet habe, Formmängel der Konfrontationseinvernahme vom 26./27. August 1993 geltend zu machen. Fehl gehe zudem der Hinweis des Kassationsgerichts, es sei ohnehin zweifelhaft, ob der Beschwerdeführer überhaupt auf eine Übersetzung angewiesen gewesen sei, da er in einer späteren Einvernahme angegeben habe, Hoch- und Schweizerdeutsch zu verstehen; es gebe keinen Hinweis dafür, dass er auch in der Lage sei, einen deutschen Text zu lesen, was beim für die Konfrontationseinvernahme gewählten Vorgehen erforderlich gewesen wäre. Im Übrigen setze sich das Kassationsgericht mit der im angefochtenen Entscheid vertretenen Auffassung, die Geltendmachung dieses Formmangels sei verspätet erfolgt, in Widerspruch zu seinem ersten Entscheid: bereits damals sei Prozessthema gewesen, ob die Geltendmachung dieses Formmangels verspätet bzw. rechtsmissbräuchlich gewesen sei. Das Kassationsgericht habe die Frage implizit verneint, indem es die Nichtigkeitsbeschwerde gutgeheissen habe; hätte es dessen Geltendmachung als rechtsmissbräuchlich angesehen, hätte es seine Beschwerde konsequenterweise abweisen müssen.
3.- a) Der Beschwerdeführer bestreitet die Auffassung des Kassationsgerichts nicht, wonach sich seine Berufung auf die mangelnde Ermahnung des Übersetzers an seine Pflichten dann als rechtsmissbräuchlich erweist, wenn er diese Rüge bewusst erst an der obergerichtlichen Hauptverhandlung vom 2. Mai 1996 erhoben hat, um so die Verbesserung des Mangels zu verhindern oder zu erschweren. Er macht nur geltend, das Kassationsgericht sei auf willkürliche Weise zum Schluss gekommen, er habe die Rüge bewusst zurückgehalten. Damit wirft er dem Kassationsgericht sinngemäss eine formelle Rechtsverweigerung im Sinne von Art. 29 Abs. 1 BV vor, indem es das Urteil des Obergerichts geschützt habe, obwohl dieses zu Unrecht auf eine seiner Rügen nicht eingetreten sei. Seiner in diesem Zusammenhang ebenfalls erhobenen Willkürrüge kommt keine selbständige Bedeutung zu, da das Bundesgericht frei prüft, ob eine formelle Rechtsverweigerung vorliegt (<ref-ruling> E. 3a; <ref-ruling> E. 2b/aa; <ref-ruling> E. 2a; <ref-ruling> E. 2a).
b) Der Beschwerdeführer und sein damaliger Verteidiger, dessen Verhalten sich der heutige anrechnen lassen muss, waren bei der Konfrontationseinvernahme der Geschädigten vom 26. Oktober 1993 zusammen mit dem Übersetzer in der Abstandszelle und haben weder Einwände gegen das gewählte Vorgehen erhoben noch gerügt, dass ihr Übersetzer nicht in die Pflicht genommen worden sei, noch dass das Geschehen in der Abstandszelle nicht protokolliert wurde. Gerade weil der Verteidiger damit einverstanden war, dass - wie damals offenbar üblich - das Geschehen in der Abstandszelle nicht protokolliert und damit im Nachhinein nicht mehr im Detail nachvollziehbar bzw. überprüfbar war, hätte er nach Treu und Glauben allfällige Verfahrensmängel sofort rügen müssen.
Dazu kommt, dass der Beschwerdeführer vor der obergerichtlichen Hauptverhandlung vom 2. Mai 1996 die Konfrontationseinvernahme nur inhaltlich kritisierte und ihre Wiederholung bzw. Ergänzung aus materiellen Gründen - wegen ihrer angeblichen Widersprüchlichkeit und insbesondere wegen des nachträglich eingereichten Widerrufs - verlangte. Diese Anträge setzten voraus, dass die Konfrontationseinvernahme vom 26. Oktober 1993 formgültig war, da eine formungültige Aussage unverwertbar ist, weshalb es sinnlos gewesen wäre, sie ergänzen zu lassen. Mit der Stellung dieser Anträge hat der Beschwerdeführer daher implizit anerkannt, dass die umstrittene Konfrontationseinvernahme der Geschädigten verwertbar ist, weshalb es mit Treu und Glauben nicht vereinbar ist, im Nachhinein ihre Unverwertbarkeit geltend zu machen.
Die Auffassung von Ober- und Kassationsgericht, es sei rechtsmissbräuchlich, angebliche Verfahrensfehler bei der Ausübung des Konfrontationsrechts durch den Beschwerdeführer und dessen Verteidiger in der Abstandszelle erst später an der Berufungsverhandlung geltend zu machen, ist unter diesen Umständen nicht zu beanstanden.
c) Der Beschwerdeführer macht geltend, das Kassationsgericht setze sich im angefochtenen Entscheid in Widerspruch zu seinem ersten in dieser Sache ergangenen Entscheid.
Hätte es nämlich schon damals die Berufung auf die Formmängel als rechtsmissbräuchlich angesehen, so hätte es im ersten Entscheid die Nichtigkeitsbeschwerde abweisen müssen.
Das Kassationsgericht hält dazu fest (angefochtener Entscheid S. 17), es sei befugt, eine Frage, mit der es zum zweiten Mal befasst sei, neu zu prüfen und abweichend von seinem ersten Entscheid zu beantworten. Der Beschwerdeführer legt nicht in einer den gesetzlichen Anforderungen genügenden Weise dar, inwiefern diese Auffassung verfassungswidrig sein sollte, weshalb darauf nicht einzutreten ist (Art. 90 Abs. 1 lit. b OG; <ref-ruling> E. 1; <ref-ruling> E. 1b; <ref-ruling> E. 1c).
4.- Die Beschwerde ist somit abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens hat grundsätzlich der Beschwerdeführer die Kosten zu tragen (Art. 156 Abs. 1 OG). Er hat jedoch ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung gestellt, welches gutzuheissen ist, da seine Mittellosigkeit dargetan ist und die Beschwerde nicht von vorne herein aussichtslos war (Art. 152 Abs. 1 und 2 OG). Dementsprechend sind keine Kosten zu erheben, und Rechtsanwalt Danuser ist als unentgeltlicher Verteidiger einzusetzen und aus der Gerichtskasse angemessen zu entschädigen. Die obsiegende Beschwerdegegnerin, welche ebenfalls ein Gesuch um unentgeltliche Prozessführung gestellt hat, ist aus der Bundesgerichtskasse zu entschädigen (Art. 159 OG). Bei der Bemessung der Entschädigung ist grundsätzlich von der Kostennote ihres Verteidigers auszugehen, wobei es zu berücksichtigen gilt, dass der geltend gemachte Aufwand von 20,3 Stunden für die Ausarbeitung der Vernehmlassung nicht in seiner ganzen Höhe als notwendig anerkannt werden kann.

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen:
a) Es werden keine Kosten erhoben.
b) Rechtsanwalt Gian Danuser, Zürich, wird als unentgeltlicher Rechtsvertreter eingesetzt und aus der Bundesgerichtskasse mit Fr. 3'000.-- entschädigt.
3.- Der Beschwerdegegnerin wird für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 2'000.-- aus der Bundesgerichtskasse zugesprochen.
4.- Dieses Urteil wird den Parteien, der Staatsanwaltschaft, dem Obergericht (I. Strafkammer) und dem Kassationsgericht des Kantons Zürich schriftlich mitgeteilt.
_
Lausanne, 11. Mai 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: