(<ref-law>) und <ref-law>; (Haftentlassung), hat sich ergeben:
A.- Das Bezirksgericht Zürich verurteilte B._ am 19. Januar 2000 wegen mehrfacher Vergewaltigung im Sinne von <ref-law> zu zwei Jahren Zuchthaus. Es hielt für erwiesen, dass B._ seine Schwägerin A._ (Jhg.
1976) einmal an einem nicht genau bestimmbaren Tag ca. Ende Januar/Anfangs Februar 1991 und ein zweites Mal ca. im Juli 1991 gegen ihren Willen zum Geschlechtsverkehr gezwungen hatte. B._, der die Vergewaltigungsvorwürfe stets bestritten hatte, erklärte am 28. Januar 2000 Berufung ans Obergericht des Kantons Zürich.
Mit Eingabe vom 17. März 2000 beantragte B._ dem Präsidenten des Obergerichts des Kantons Zürich, ihn umgehend aus der Sicherheitshaft zu entlassen. Der dringende Tatverdacht sei nicht gegeben, da er vom Bezirksgericht unter klarer Verletzung des Grundsatzes "in dubio pro reo" verurteilt worden sei: in Bezug auf den ersten Tatvorwurf habe es sich über ein nachgewiesenes Alibi hinweggesetzt und die zweite Tat habe sich gar nicht in der ihm vorgeworfenen Weise abspielen können, weil ein erzwungener Geschlechtsverkehr in der von A._ geschilderten Bauchlage gar nicht möglich sei.
Mit Verfügung vom 31. März 2000 wies der Präsident der II. Strafkammer des Obergerichts das Haftentlassungsgesuch von B._ ab und verfügte, er habe in Sicherheitshaft zu bleiben. Zur Begründung führte er an, der dringende Tatverdacht sei nach einer erstinstanzlichen Verurteilung regelmässig zu bejahen, und es könne im Übrigen auf die zutreffenden Erwägungen des erstinstanzlichen Urteils verwiesen werden. Fluchtgefahr sei gegeben, weil der Angeklagte erst rund die Hälfte der vorinstanzlichen Strafe abgesessen habe und sich schon früher einmal einer Strafverfolgung sowie einer Schutzaufsicht durch Flucht entzogen habe. Überhaft drohe noch nicht, die Verhältnismässigkeit der Haft sei gewahrt, wobei in diesem Zusammenhang zu beachten sei, dass die Staatsanwaltschaft angekündigt habe, ebenfalls Berufung einzulegen und eine höhere Strafe zu fordern.
B.- Mit staatsrechtlicher Beschwerde vom 18. April 2000 wegen Verletzung der persönlichen Freiheit, von <ref-law> und Art. 5 EMRK beantragt B._, die Präsidialverfügung vom 31. März 2000 aufzuheben und ihn umgehend aus der Sicherheitshaft zu entlassen. Ausserdem ersucht er um unentgeltliche Rechtspflege und Verbeiständung.
C.- Das Bezirksgericht und das Obergericht verzichten auf Vernehmlassung. Die Staatsanwaltschaft liess sich innert Frist nicht vernehmen.

Das Bundesgericht zieht in Erwägung:
1.- a) Der Beschwerdeführer wirft dem Präsidenten der II. Strafkammer des Obergerichts eine Verletzung des in Art. 10 Abs. 2 der Bundesverfassung vom 18. April 1999 (BV) verankerten Grundrechtes der persönlichen Freiheit, des Willkürverbotes (<ref-law>) sowie von Art. 5 EMRK vor. Dazu ist er legitimiert (Art. 88 OG). Die übrigen Sachurteilsvoraussetzungen sind erfüllt, sodass auf die Beschwerde, unter dem Vorbehalt gehörig begründeter Rügen (Art. 90 Abs. 1 lit. b OG; <ref-ruling> E. 1c; <ref-ruling> E. 1c; <ref-ruling> E. 1c), grundsätzlich einzutreten ist.
b) Mit einer staatsrechtlichen Beschwerde gegen die Fortsetzung der Sicherheitshaft kann, ausser der Aufhebung des angefochtenen Entscheids, auch die sofortige Entlassung aus der Haft verlangt werden (<ref-ruling> E. 1a). Der entsprechende Antrag des Beschwerdeführers ist daher zulässig.
c) Bei staatsrechtlichen Beschwerden, die gestützt auf das verfassungsmässige Recht der persönlichen Freiheit gegen die Haftanordnung erhoben werden, prüft das Bundesgericht Auslegung und Anwendung des kantonalen Rechts grundsätzlich frei (<ref-ruling> E. 1; <ref-ruling> E. 3).
Der Willkürrüge kommt diesen Umständen keine selbständige Bedeutung zu, sie geht in der Rüge der Verletzung der persönlichen Freiheit auf. Das Gleiche gilt für die Rüge der Verletzung von Art. 5 EMRK, zumal der Beschwerdeführer nicht in einer den gesetzlichen Anforderungen von Art. 90 Abs. 1 lit. b OG genügenden Weise darlegt, inwiefern er aus dieser Bestimmung weitergehende Rechte ableiten könnte als aus <ref-law>.
2.- a) Nach § 67 in Verbindung mit § 58 der Strafprozessordnung des Kantons Zürich vom 4. Mai 1919 (StPO) darf Sicherheitshaft angeordnet werden, wenn der Angeklagte eines Verbrechens oder Vergehens dringend verdächtig ist und (u.a.) Fluchtgefahr besteht. Liegt ausser dem allgemeinen Haftgrund des dringenden Tatverdachts einer der besonderen Haftgründe vor, steht einer Inhaftierung auch unter dem Gesichtswinkel der persönlichen Freiheit grundsätzlich nichts entgegen.
b) Der Beschwerdeführer bestreitet den dringenden Tatverdacht, indem er geltend macht, das Bezirksgericht habe ihn unter klarer Verletzung des Grundsatzes "in dubio pro reo" verurteilt.
Im vorliegenden Verfahren ist nicht zu prüfen, ob die erstinstanzliche Beweiswürdigung vor der Verfassung standhält. Vielmehr stellt sich einzig die Frage, ob die Verurteilung insoweit nachvollziehbar ist, dass sie den dringenden Tatverdacht gegen den Beschwerdeführer zu begründen vermag. Wie der Beschwerdeführer zu Recht vorbringt, ist dies vom Haftrichter selbständig zu beurteilen. Allerdings wird es kaum je Fälle geben, in denen eine strafrechtliche Verurteilung auf Indizien beruht, die bei einer objektiven Würdigung nicht einmal einen dringenden Tatverdacht begründen können. Das wird in der Praxis wohl nur beim Vorliegen von eigentlichen Revisionsgründen vorkommen.
Davon kann hier nicht die Rede sein. Der Beschwerdeführer wird durch die Aussagen seiner Schwägerin schwer belastet, und er bringt nichts vor, was diese von vornherein als unglaubhaft erscheinen lassen könnten. Mit seinem Alibinachweis hat sich bereits das Bezirksgericht auseinandergesetzt, und sich davon nicht überzeugen lassen, weil er von vornherein nur ein Alibi für den 27. Januar und den 3. Februar 1991 liefern soll, die Tat nach Auffassung des Gerichts aber auch früher oder später geschehen sein kann. In Bezug auf den zweiten Tatvorwurf macht der Beschwerdeführer geltend, die Mutter A._, in deren Wohnung am X._weg in Dietikon diese Vergewaltigung im Juli 1991 stattgefunden haben soll, sei erst am 16. September 1991 in diese Wohnung gezogen, sodass im Juli 1991 der umstrittene Übergriff dort nicht habe stattfinden können. Die Verurteilung des Beschwerdeführers beruht indessen auf den Aussagen, die A._ ab Anfang 1999, also über 7 Jahre später machte; eine ungenaue oder allenfalls auch falsche Datierung des Tatvorwurfs kann unter diesen Umständen den Tatverdacht nicht ohne weiteres entkräften. Der Präsident der II. Strafkammer des Obergerichts konnte unter diesen Umständen ohne Verfassungsverletzung den dringenden Tatverdacht annehmen.
c) Nach der Rechtsprechung des Bundesgerichts genügt die Höhe der zu erwartenden Freiheitsstrafe für sich allein nicht für die Annahme von Fluchtgefahr. Eine solche darf nicht schon angenommen werden, wenn die Möglichkeit der Flucht in abstrakter Weise besteht. Vielmehr müssen konkrete Gründe dargetan werden, die eine Flucht nicht nur als möglich, sondern als wahrscheinlich erscheinen lassen. Die Höhe der zu erwartenden Freiheitsstrafe kann immer nur neben anderen, eine Flucht begünstigenden Tatsachen herangezogen werden (<ref-ruling> E. 2a; <ref-ruling> E. 4a; <ref-ruling> E. 3; <ref-ruling> E. 6).
Der Beschwerdeführer hat erst etwa die Hälfte der erstinstanzlich ausgesprochenen Strafe in Untersuchungshaft verbracht und muss dementsprechend damit rechnen, noch einen erheblichen Strafrest verbüssen zu müssen, zumal angesichts seiner Vorstrafen keineswegs von vornherein feststeht, dass ihm die für eine bedingte Entlassung nach zwei Dritteln der Strafe erforderliche gute Prognose (<ref-law>) gestellt werden kann. Die Staatsanwaltschaft hat zudem angekündigt, im Berufungsverfahren eine höhere Strafe zu beantragen, sodass die Strafe vom Obergericht im Falle einer Bestätigung der Verurteilung auch erhöht werden könnte. Der Beschwerdeführer hat sich bereits in der Vergangenheit dem Strafvollzug und der Schutzaufsicht durch Flucht entzogen.
Unter diesen Umständen verstösst die Annahme von Fluchtgefahr keineswegs gegen die Verfassung. Die Rüge ist unbegründet.
3.- Die Beschwerde ist somit abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer die Kosten zu tragen (Art. 156 Abs. 1 OG).
Sein Gesuch um unentgeltliche Rechtspflege ist abzuweisen, da die Beschwerde aussichtslos war (Art. 152 OG).

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.- Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdeführer auferlegt.
4.- Dieses Urteil wird dem Beschwerdeführer, dem Bezirksgericht Zürich (6. Abteilung), der Staatsanwaltschaft und dem Obergericht (II. Strafkammer) des Kantons Zürich schriftlich mitgeteilt.
_
Lausanne, 9. Mai 2000
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: