(Haftentlassung), hat sich ergeben:
A.- Das Bezirksgericht Zürich verurteilte M._ am 30. November 1998 wegen mehrfacher Vergewaltigung (<ref-law>), unvollendeten Versuchs der sexuellen Nötigung (Art. 189 Abs. 1 i.V.m. <ref-law>) und weiterer Delikte zum Nachteil seiner geschiedenen Ehefrau J._ zu drei Jahren Zuchthaus. Das Obergericht des Kantons Zürich bestätigte am 23. September 1999 das erstinstanzliche Urteil im Schuld- und im Strafpunkt.
M._ focht dieses Urteil am 29. November 1999 mit kantonaler Nichtigkeitsbeschwerde an.
B.- Am 4. Oktober 1999 stellte M._ ein Haftentlassungsgesuch, welches vom Präsidenten der II. Strafkammer des Obergerichts des Kantons Zürich wegen Fluchtgefahr abgewiesen wurde. Das Bundesgericht schützte diesen Entscheid mit Urteil vom 2. Dezember 1999, wobei es festhielt, dass ein eigentlicher Grenzfall vorliege.
C.- Am 2. März 2000 stellte M._ ein Haftentlassungsgesuch.
Er macht geltend, bereits 645 Tage seiner Strafe abgesessen zu haben, weshalb eine bedingte Entlassung auf den 30. Mai 2000 möglich sei und von der Direktion der Strafanstalt Pöschwies befürwortet werde, da er sich im Vollzug tadellos aufgeführt habe. So nahe am Termin der bedingten Entlassung bestehe keine Fluchtgefahr mehr. Er sei in der Schweiz gut integriert und spreche Deutsch, pflege einen intensiven Kontakt zu seinem in Dübendorf lebenden Bruder und wolle vor allem den Kontakt zu seinem Sohn, an dem er sehr hänge, nicht durch eine Flucht aufs Spiel setzen.
Der Präsident des Kassationsgerichtes des Kantons Zürich wies das Gesuch um Haftentlassung am 28. März 2000 ab. Er erwog, das bisherige Verhalten des Beschwerdeführers, aus dem eine erhebliche Gewaltbereitschaft und Rücksichtslosigkeit gegenüber seiner geschiedenen Ehefrau spreche, schliesse eine gute Prognose, die nach <ref-law> Bedingung für eine vorzeitige Entlassung aus dem Strafvollzug sei, eher aus. Da sich die Taten gegen ein hochwertiges Rechtsgut - Leib und Leben - richteten, rechtfertige sich, bei der Prognose einen restriktiven Massstab anzuwenden. Es sei somit davon auszugehen, dass er, wenn er sich bereits im ordentlichen Strafvollzug befände, nicht ohne weiteres mit einer bedingten Entlassung rechnen könnte. Es drohe daher im Moment noch keine Überhaft. Der dringende Tatverdacht sei unbestritten. Fluchtgefahr sei anzunehmen wegen des jedenfalls bei einer Verweigerung der vorzeitigen bedingten Entlassung erheblichen Strafrestes, der einen gewissen Fluchtanreiz darstelle, und den verwandtschaftlichen Beziehungen zu seinem Herkunftsland. Zudem sei auch Wiederholungsgefahr im Sinne von <ref-law> nicht von der Hand zu weisen, da aufgrund der Umstände die Befürchtung bestehe, dass er gegen seine geschiedene Ehefrau wiederum gewalttätig werden könnte. Dies könne auch die von M._ als Ersatzmassnahme angebotene Pass- und Schriftensperre mit wöchentlicher Meldepflicht nicht verhindern.
D.- Mit staatsrechtlicher Beschwerde vom 27. April 2000 wegen Verletzung von <ref-law>, <ref-law>, <ref-law> sowie Art. 5 Abs. 1 lit. c und Abs. 3 EMRK beantragt M._, den Entscheid des Kassationsgerichtspräsidenten vom 28. März 2000 aufzuheben und ihn unverzüglich auf freien Fuss zu setzen. Ausserdem ersucht er um unentgeltliche Rechtspflege und Verbeiständung.
Die Staatsanwaltschaft, das Obergericht und das Kassationsgericht verzichten auf Vernehmlassung.

Das Bundesgericht zieht in Erwägung:
1.- a) Auf die Beschwerde ist aus den gleichen Gründen einzutreten wie beim in dieser Angelegenheit am 2. Dezember 1999 ergangenen Urteil.
b) Bei staatsrechtlichen Beschwerden, die gestützt auf das verfassungsmässige Recht der persönlichen Freiheit gegen die Haftanordnung erhoben werden, prüft das Bundesgericht Auslegung und Anwendung des kantonalen Rechts grundsätzlich frei (<ref-ruling> E. 1; <ref-ruling> E. 3).
Der Willkürrüge und der Rüge der Verletzung des Verhältnismässigkeitsgrundsatzes kommen unter diesen Umständen keine selbständige Bedeutung zu, sie gehen in der Rüge der Verletzung der persönlichen Freiheit auf. Das Gleiche gilt für die Rüge der Verletzung von Art. 5 EMRK, zumal der Beschwerdeführer nicht in einer den gesetzlichen Anforderungen von Art. 90 Abs. 1 lit. b OG genügenden Weise darlegt, inwiefern er aus dieser Bestimmung weitergehende Rechte ableiten könnte als aus <ref-law>.
2.- a) Nach § 67 in Verbindung mit § 58 der Strafprozessordnung des Kantons Zürich vom 4. Mai 1919 (StPO) darf Sicherheitshaft angeordnet werden, wenn der Angeklagte eines Verbrechens oder Vergehens dringend verdächtig ist und (u.a.) Fluchtgefahr oder Wiederholungsgefahr besteht. Liegt ausser dem allgemeinen Haftgrund des dringenden Tatverdachts einer der besonderen Haftgründe vor, steht einer Inhaftierung auch unter dem Gesichtswinkel der persönlichen Freiheit grundsätzlich nichts entgegen.
Nicht umstritten ist, dass der allgemeine Haftgrund des dringenden Tatverdachts gegeben ist.
b) Nach der Rechtsprechung des Bundesgerichts genügt die Höhe der zu erwartenden Freiheitsstrafe für sich allein nicht für die Annahme von Fluchtgefahr. Eine solche darf nicht schon angenommen werden, wenn die Möglichkeit der Flucht in abstrakter Weise besteht. Vielmehr müssen konkrete Gründe dargetan werden, die eine Flucht nicht nur als möglich, sondern als wahrscheinlich erscheinen lassen. Die Höhe der zu erwartenden Freiheitsstrafe kann immer nur neben anderen, eine Flucht begünstigenden Tatsachen herangezogen werden (<ref-ruling> E. 2a; <ref-ruling> E. 4a; <ref-ruling> E. 3; <ref-ruling> E. 6).
c) Der Präsident des Kassationsgerichtes geht im angefochtenen Entscheid davon aus, dass der Beschwerdeführer, wenn er sich im Strafvollzug befände, nicht mit einer bedingten Entlassung nach 2 Jahren rechnen könnte, da ihm wohl keine gute Prognose im Sinne von <ref-law> gestellt werden könne. Damit setzt er sich stillschweigend über das vom Obergericht bei Dr. Konrad Lierow eingeholte psychiatrische Gutachten vom 24. Juli 1999 hinweg, das auf S. 24 f. zum Schluss kommt, es bestehe "keine nennenswerte Gefahr, dass der Explorand nun (weitere??) Vergewaltigungen oder sexuelle Nötigungen begeht". Der Beschwerdeführer rügt zu Recht als willkürlich, dass der Kassationsgerichtspräsident ohne jede Auseinandersetzung mit diesem Gutachten davon ausgeht, es könne ihm nicht nur keine gute Prognose im Sinne von <ref-law> gestellt werden, sondern es bestehe gar Wiederholungsgefahr im Sinne von <ref-law>. Ob dessen Auffassung auch im Ergebnis unhaltbar ist, steht damit allerdings nicht fest. Immerhin hat der Beschwerdeführer, jedenfalls nach der Überzeugung von Bezirks- und Obergericht, unbeeindruckt von einer ersten Verurteilung, seine geschiedene Frau vergewaltigt und sich nach seiner Entlassung aus der Untersuchungshaft erneut an ihr vergriffen.
Es steht somit keinesfalls von vornherein fest, dass dem Beschwerdeführer die gute Prognose im Sinne von <ref-law> gestellt werden kann; diese Frage bedürfte vielmehr einer eingehenden, sorgfältigen Abklärung.
Es ist unter diesen Umständen im Ergebnis nicht zu beanstanden, dass es der Kassationsgerichtspräsident aufgrund der im Haftprüfungsverfahren vorzunehmenden bloss summarischen Prüfung der Voraussetzungen von <ref-law> ablehnte, die gute Prognose zu bejahen und die Möglichkeit der bedingten Entlassung nach der Verbüssung von zwei Dritteln der Strafe zu berücksichtigen. Hinzu kommt, dass die Möglichkeit der bedingten Entlassung nach der Rechtsprechung des Bundesgerichts in der Regel nicht zu berücksichtigen ist. Dass die Annahme von Fluchtgefahr grundsätzlich nicht zu beanstanden ist, hat das Bundesgericht bereits im Entscheid vom 2. Dezember 1999 erkannt; daran hat sich seither nichts geändert, sodass darauf verwiesen werden kann (Art. 36a Abs. 3 OG).
d) Es erscheint allerdings verfassungsrechtlich problematisch, dass die Länge des dreistufigen kantonalen Rechtsmittelzuges in diesem eher einfachen, keine besonderen Schwierigkeiten bietenden Strafverfahren dazu geführt hat, dass der immerhin zu drei Jahren Freiheitsentzug verurteilte Beschwerdeführer vor das Dilemma gestellt wird, ob er das von ihm erhobene Rechtsmittel zurückziehen will, um allenfalls von einer vorzeitigen Entlassung nach <ref-law> profitieren zu können. Diese Problematik ist mit einer entsprechend beförderlichen Verfahrensführung so weit als möglich zu entschärfen. Im vorliegenden Fall kommt die vom Beschwerdeführer bereits in Haft verbrachte Zeit der ausgesprochenen Strafe von drei Jahren, die nur bestätigt oder reduziert werden kann, immer näher, so dass - wie bereits im Urteil vom 2. Dezember 1999 angetönt - der Beschwerdeführer nur dann bis zum Endurteil des Kassationsgerichtes in Haft gehalten werden kann, wenn dieses innert kurzer Frist ergeht.
Eine weitere Inhaftierung über drei Viertel der ausgesprochenen Strafe hinaus erschiene unter den gegebenen Umständen jedenfalls als unverhältnismässig und damit verfassungsrechtlich nicht haltbar.
3.- Zusammenfassend ist festzuhalten, dass das Kassationsgericht das Haftentlassungsgesuch des Beschwerdeführers (zur Zeit noch) ohne Verletzung der Verfassung ablehnen konnte. Die Beschwerde ist daher abzuweisen, soweit darauf einzutreten ist.
Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer die Kosten zu tragen (Art. 156 Abs. 1 OG). Er hat indessen ein Gesuch um unentgeltliche Rechtspflege gestellt, welches gutzuheissen ist, da die Beschwerde nicht von vornherein aussichtslos war und die Bedürftigkeit des Beschwerdeführers ausreichend glaubhaft gemacht ist (Art. 152 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen:
a) Es werden keine Kosten erhoben.
b) Rechtsanwalt Markus Bischoff wird als unentgeltlicher Rechtsvertreter eingesetzt und für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit Fr. 1'800.-- entschädigt.
3.- Dieses Urteil wird dem Beschwerdeführer sowie der Staatsanwaltschaft, dem Obergericht, II. Strafkammer, und dem Kassationsgericht des Kantons Zürich schriftlich mitgeteilt.
_
Lausanne, 12. Mai 2000
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: