Aufenthaltsbewilligung, hat sich ergeben:
A.- Der pakistanische Staatsangehörige X._, geb. 11. Mai 1957, reiste am 2. November 1984 in die Schweiz ein, wo er um Asyl ersuchte. Dieses Gesuch wurde im Januar 1986 letztinstanzlich abgewiesen. Am 22. März 1986 heiratete X._ die um 13 Jahre ältere Schweizerin Y._, woraufhin er eine Aufenthaltsbewilligung erhielt. Mit Verfügung vom 6. August 1987 verwarnte ihn die Polizeidirektion (heute: Direktion für Soziales und Sicherheit) des Kantons Zürich, nachdem er vom Fürstlich Liechtensteinischen Landesgericht Vaduz wegen Verletzung fremdenpolizeilicher Bestimmungen mit einer Woche Arrest bestraft worden war. Am 22. November 1993 wurde die Ehe X._-Y. _ geschieden. Am 31. Mai 1994 verurteilte das Bezirksgericht Zürich X._ wegen Vergewaltigung des damals 18-jährigen Patenkindes seiner langjährigen Freundin Z._ zu 18 Monaten Zuchthaus bei bedingtem Vollzug. Mit Urteil vom 17. Januar 1995 legte das Obergericht des Kantons Zürich die Strafe auf 27 Monate Zuchthaus fest. Das Kassationsgericht des Kantons Zürich und das Bundesgericht wiesen im Jahre 1996 dagegen erhobene Rechtsmittel ab, soweit sie darauf eintraten, woraufhin die ausgefällte Freiheitsstrafe vollzogen wurde.
B.- Nachdem X._ zunächst um Erteilung der Niederlassungsbewilligung ersucht hatte, zog er dieses Gesuch am 17. Juli 1995 zurück und beantragte die Verlängerung der Aufenthaltsbewilligung. Am 29. August 1996 wies die Fremdenpolizei des Kantons Zürich dieses Gesuch ab. Beschwerden beim Regierungsrat und beim Verwaltungsgericht des Kantons Zürich blieben erfolglos, wobei X._ vor dem Verwaltungsgericht "die Aufenthalts- bzw. Niederlassungsbewilligung" verlangte.
C.- Mit Verwaltungsgerichtsbeschwerde vom 15. Dezember 1999 an das Bundesgericht beantragt X._, das Urteil des Verwaltungsgerichts vom 3. November 1999 sei aufzuheben und die Sache sei im Sinne der Erwägungen an die Vorinstanz zurückzuweisen. Zugleich ersucht er um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung.
Die Staatskanzlei des Kantons Zürich (für den Regierungsrat) und das Bundesamt für Ausländerfragen (für das Eidgenössische Justiz- und Polizeidepartement) schliessen auf Abweisung der Beschwerde. Das Verwaltungsgericht stellt den Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei.

Das Bundesgericht zieht in Erwägung:
1.- a) Gegen die Verweigerung der Aufenthaltsbewilligung ist die Verwaltungsgerichtsbeschwerde nur zulässig, wenn das Bundesrecht einen Anspruch auf deren Erteilung einräumt (Art. 100 Abs. 1 lit. b Ziff. 3 OG).
Der ausländische Ehegatte eines Schweizer Bürgers hat Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung; nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren hat er Anspruch auf die Niederlassungsbewilligung (Art. 7 Abs. 1 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer; ANAG; SR 142. 20). Für die Zulässigkeit der auf Art. 7 ANAG gestützten Verwaltungsgerichtsbeschwerde ist einzig auf den formellen Bestand der ehelichen Beziehung abzustellen (<ref-ruling> E. 1b S. 292).
b) Der Beschwerdeführer war während über sieben Jahren mit einer Schweizer Staatsbürgerin verheiratet. Er hatte somit in Anwendung von Art. 7 ANAG Anspruch auf Erteilung der Aufenthaltsbewilligung, und er erwarb nach Ablauf von fünf Jahren einen Anspruch auf Niederlassungsbewilligung. Da diese unbefristet ist, besteht der Anspruch grundsätzlich auch heute noch (vgl. <ref-ruling> E. 3b S. 147; RDAT 1994 I 55 S. 133 E. 4b und c). Hat der Beschwerdeführer Anspruch auf die für ihn günstigere Niederlassungsbewilligung, steht ihm erst recht auch ein solcher auf Aufenthaltsbewilligung zu. Die Verwaltungsgerichtsbeschwerde erweist sich damit als zulässig. Ob im konkreten Fall die Bewilligung verweigert werden durfte, ist Frage der materiellen Beurteilung (<ref-ruling> E. 2b S. 291; <ref-ruling> E. 1d S. 294; <ref-ruling> E. 1 S. 8, 16 E. 2b S. 18; <ref-ruling> E. 2d S. 419; <ref-ruling> E. 3d S. 151).
c) Mit Verwaltungsgerichtsbeschwerde kann die Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens, sowie die unrichtige oder unvollständige Feststellung des Sachverhalts gerügt werden (Art. 104 lit. a und b OG). Hat - wie hier - eine richterliche Behörde als Vorinstanz entschieden, so ist das Bundesgericht an deren tatsächliche Feststellungen gebunden, es sei denn, diese erweisen sich als offensichtlich unrichtig oder unvollständig oder seien unter Verletzung wesentlicher Verfahrensvorschriften getroffen worden (Art. 105 Abs. 2 OG).
2.- Der Anspruch auf Aufenthalts- bzw. Niederlassungsbewilligung nach Art. 7 ANAG erlischt, wenn ein Ausweisungsgrund vorliegt (Art. 7 Abs. 1 dritter Satz ANAG). Nach Art. 10 Abs. 1 lit. a ANAG kann ein Ausländer unter anderem aus der Schweiz oder aus einem Kanton ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde. Die Ausweisung soll aber nur ausgesprochen werden, wenn sie nach den gesamten Umständen angemessen, d.h. verhältnismässig (vgl. <ref-ruling> E. 2a, mit Hinweis), erscheint (Art. 11 Abs. 3 ANAG). Dabei ist namentlich auf die Schwere des Verschuldens des Ausländers, die Dauer seiner Anwesenheit in der Schweiz sowie die ihm und seiner Familie drohenden Nachteile abzustellen (Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer, ANAV; SR 142. 201).
Aus dem Verweis in Art. 7 Abs. 1 dritter Satz ANAG auf die Ausweisung geht hervor, dass für die Nichterteilung bzw. Nichtverlängerung einer Anwesenheitsbewilligung, auf die Anspruch besteht, das Vorliegen eines Ausweisungsgrundes für sich allein nicht genügt. In gleicher Weise wie bei der Ausweisung ist vielmehr eine Interessenabwägung erforderlich. Der Anspruch auf Erteilung der Aufenthaltsbewilligung erlischt damit nicht bereits dann, wenn der Ausländer einen Ausweisungsgrund erfüllt, insbesondere wegen eines Verbrechens oder eines Vergehens verurteilt wurde, sondern erst, wenn auch die Interessenabwägung ergibt, dass die Bewilligung zu verweigern ist (BGE <ref-ruling> E. 4a S. 12/13).
3.- a) Der Beschwerdeführer ist wegen Vergewaltigung zu einer Zuchthausstrafe von 27 Monaten verurteilt worden. Damit erfüllt er den Ausweisungsgrund von Art. 10 Abs. 1 lit. a ANAG.
b) Ausgangspunkt und Massstab für die Schwere des Verschuldens und die fremdenpolizeiliche Interessenabwägung sind die vom Strafrichter verhängten Strafen. Bei mit Schweizern verheirateten ausländischen Staatsangehörigen, die erstmals um eine Bewilligung ersuchen oder nach bloss kurzer Aufenthaltsdauer die Bewilligung erneuern lassen wollen, geht die Rechtsprechung davon aus, dass die Grenze, von der an in der Regel auch dann keine Bewilligung mehr erteilt wird, wenn dem Ehepartner die Ausreise aus der Schweiz unzumutbar oder nur schwer zumutbar ist, bei zwei Jahren Freiheitsstrafe liegt (BGE <ref-ruling> E. 4b S. 14, mit Hinweis). Entscheidend sind aber in jedem Fall die sich gegenüberstehenden öffentlichen und privaten Interessen.
Das Verwaltungsgericht hat im angefochtenen Urteil festgehalten, das ausgefällte Strafmass liege klar über der Grenze von zwei Jahren und der Regierungsrat habe sich ohne Rechtsverletzung an dieser Rechtsprechung orientieren können. An sich ist der Beschwerdeführer nicht mehr verheiratet, womit es grundsätzlich an einer Voraussetzung der Anwendbarkeit der Zweijahresregel fehlt, nämlich dass einer allfälligen Ehegattin die Ausreise aus der Schweiz unzumutbar oder nur schwer zumutbar ist. Die Bewilligung kann somit bereits bei kürzerer Strafdauer eher verweigert werden. Gleichzeitig ergibt sich ein Ausgleich dazu, dass der hiesige Aufenthalt des Beschwerdeführers nicht bloss - wie es für die Anwendbarkeit der Zweijahresregel an sich ebenfalls die Regel ist - kurz gedauert hat, sondern eine längere Dauer erreicht.
Dass sich die Vorinstanzen an der Zweijahresregel orientierten, gereicht dem Beschwerdeführer demnach nicht zum Nachteil. So oder so hat sich das Verwaltungsgericht aber nicht (zu) strikt an diese Regel gehalten, wie der Beschwerdeführer geltend macht, sondern sie zu Recht lediglich als Richtschnur gewürdigt und darüber hinaus die weiteren tatsächlichen Gesichtspunkte berücksichtigt.
c) Entgegen der Auffassung des Beschwerdeführers ist die Sachverhaltsfeststellung des Verwaltungsgerichts nicht zu beanstanden. Dieses hat alle wesentlichen Umstände - Umfang des Verschuldens, Dauer der Anwesenheit, persönliche und familiäre Nachteile - abgeklärt und in die Interessenabwägung einbezogen. Dass auf die einzelnen Argumente des Beschwerdeführers im angefochtenen Entscheid nicht derart detailliert eingegangen wird, wie er dies vorgetragen hatte - und nunmehr auch vor Bundesgericht wieder geltend macht -, bedeutet weder eine unvollständige Sachverhaltsfeststellung, noch verletzt es das rechtliche Gehör des Beschwerdeführers. Entscheidend ist, dass das Verwaltungsgericht sich damit befasst und die entsprechenden Umstände auch berücksichtigt hat. Bei der Beurteilung der Massgeblichkeit der einzelnen Gegebenheiten steht ihm ein gewisser Spielraum zu. Insoweit brauchte es namentlich nicht auf die frühere Tätigkeit des Beschwerdeführers in der Feuerwehr näher einzugehen, welche zwar einen Gesichtspunkt für die hiesige Integration darstellen kann, sich im vorliegenden Fall aber nicht entscheidend auswirkt. Im Übrigen verweist der angefochtene Entscheid ergänzend auf denjenigen des Regierungsrates, sodass die dortigen Feststellungen auch für das Verwaltungsgericht Geltung erlangen. Die Vorbringen des Beschwerdeführers beziehen sich ohnehin weitgehend auf die Würdigung und nicht die Feststellung der einzelnen Umstände. Das gilt insbesondere im Hinblick auf die Gewichtung der Schwere des Verschuldens und des Integrationsgrades.
d) Der Beschwerdeführer ist erst im Alter von 27 Jahren - und damit nicht als Kind oder Jugendlicher - in die Schweiz gelangt. Er hält sich immerhin seit nunmehr rund 15 Jahren hier auf. Mit den Vorinstanzen ist sein Verschulden als schwer zu beurteilen. Er hat eine Vertrauenslage für die Begehung eines schwerwiegenden Sexualdelikts ausgenützt. Dass seine Beziehungen zu Frauen sonst gewaltfrei und liebenswürdig sein sollen, wie er vorträgt, ändert daran nichts und verbietet auch nicht die Schlussfolgerung, er stelle - aus fremdenpolizeilicher Sicht - eine grosse Gefahr für die hiesige Ordnung und Sicherheit dar. Was der Beschwerdeführer im Hinblick auf den Begriff der öffentlichen Sicherheit vorbringt, geht im Übrigen an der Sache vorbei. Es genügt, dass er in irgendeiner Weise, auch in Form eines Beziehungsdelikts, irgendwelche anderen Personen gefährdet, damit die öffentliche Sicherheit beeinträchtigt ist. Dass er wieder ein Beziehungsdelikt begehen könnte, erscheint mit der Vorinstanz nicht als ausgeschlossen. Weiter hat das Verwaltungsgericht entgegen der Auffassung des Beschwerdeführers eine gewisse Integration in der Schweiz nicht verneint. Es durfte aber durchaus davon ausgehen, der Beschwerdeführer habe auch in seinem Heimatland massgebliche familiäre Kontakte. Was dieser dagegen vorbringt, widerlegt die Beurteilung der Vorinstanz nicht. Die Pflege der Beziehungen zu seinen pakistanischen Angehörigen mag durchaus der schweizerischen Auffassung über die Wahrnehmung familiärer Pflichten und das Verständnis des Beschwerdeführers von ehelicher (Un)Treue auch hiesigen Realitäten entsprechen; das steht aber nicht im Widerspruch zur Feststellung der Vorinstanz, er verfüge auch im Heimatland über ein "intaktes Beziehungsfeld".
Die Verweigerung der Bewilligungsverlängerung verunmöglicht sodann weder die angeblich geplante Heirat des Beschwerdeführers mit seiner gegenwärtigen Freundin noch entsprechende Vorbereitungen. Im Übrigen haben die Heiratsabsichten keinen weitergehenden Einfluss auf die hier durchzuführende Interessenabwägung, zumal die Freundin von der Straffälligkeit des Beschwerdeführers Kenntnis hat. Schliesslich durfte die Vorinstanz unter dem Gesichtspunkt der Verhältnismässigkeit mit berücksichtigen, dass der Beschwerdeführer bereits einmal fremdenpolizeilich verwarnt worden war.
e) Insgesamt überwiegen die öffentlichen Interessen an einer Entfernung des Beschwerdeführers seine entgegenstehenden privaten an einem Verbleiben in der Schweiz. Der angefochtene Entscheid verstösst somit nicht gegen Bundesrecht.
4.- Die Verwaltungsgerichtsbeschwerde erweist sich als unbegründet und ist abzuweisen.
Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (Art. 156, 153 und 153a OG). Da sein Begehren in der Sache aus den genannten Gründen keine ernsthaften Erfolgsaussichten hatte, ist der Antrag auf Gewährung der unentgeltlichen Rechtspflege und Verbeiständung abzuweisen (vgl. Art. 152 OG). Immerhin lässt sich den angespannten finanziellen Verhältnissen bei der Festsetzung der Gerichtsgebühr Rechnung tragen (Art. 153a Abs. 1 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Das Gesuch um Erteilung der unentgeltlichen Rechtspflege und Verbeiständung wird abgewiesen.
3.- Die Gerichtsgebühr von Fr. 1'000. -- wird dem Beschwerdeführer auferlegt.
4.- Dieses Urteil wird dem Beschwerdeführer, dem Regierungsrat (Staatskanzlei) und dem Verwaltungsgericht (4. Abteilung, 4. Kammer) des Kantons Zürich sowie dem Eidgenössischen Justiz- und Polizeidepartement (Bundesamt für Ausländerfragen) schriftlich mitgeteilt.
_
Lausanne, 27. März 2000
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: