(Entlassung aus dem vorzeitigen Strafvollzug), hat sich ergeben:
A.- Die Bezirksanwaltschaft III für den Kanton Zürich führt gegen H._ eine umfangreiche Strafuntersuchung wegen gewerbsmässigen Betrugs und weiterer Delikte. Es wird ihm vorgeworfen, zusammen mit anderen Personen unter Vorspiegelung falscher Tatsachen Investoren zur Übergabe grosser Geldsummen an ihn veranlasst und diese anschliessend für eigene Zwecke verbraucht zu haben. Am 3. August 1996 wurde H._ festgenommen. Er befand sich zunächst in Auslieferungshaft, darauf vom 29. August bis am 28. November 1996 in Untersuchungshaft im Kanton Waadt und seither in Untersuchungshaft im Kanton Zürich. Die Haftrichter verlängerten wiederholt die Untersuchungshaft und lehnten Haftentlassungsgesuche ab. Dagegen gerichtete staatsrechtliche Beschwerden wies das Bundesgericht am 6. Dezember 1997 (Verfahren 1P.646/1997) und am 4. Mai 1999 (Verfahren 1P.208/1999) ab. Eine Verwaltungsgerichtsbeschwerde von H._ gegen die Bewilligung seiner Auslieferung an die USA wies das Bundesgericht am 13. Mai 1997 ab (Verfahren 1A.60/1997). Am 16. November 1999 wurde ihm auf seinen Antrag hin der vorzeitige Strafantritt bewilligt.
Am 8. Februar 2000 hat die Bezirksanwaltschaft Anklage gegen H._ beim Bezirksgericht Zürich erhoben, welche jedoch dessen Präsident mit Verfügung vom 1. März 2000 einstweilen nicht zugelassen und zur Überarbeitung an die Anklagebehörde zurückgewiesen hat.
Am 9. März 2000 stellte H._ ein Haftentlassungsgesuch.
Diesem gab der Haftrichter am 23. März 2000 keine Folge und überwies es an die Anklagekammer des Obergerichts, welche mit Beschluss vom 31. März 2000 nicht darauf eintrat und das Entlassungsgesuch an den Haftrichter zum definitiven Entscheid zurückwies. Mit Verfügung vom 4. April 2000 wies der Haftrichter daraufhin das Entlassungsgesuch ab.
B.- H._ führt gegen die Verfügung des Haftrichters vom 4. April 2000 staatsrechtliche Beschwerde und beantragt deren Aufhebung sowie seine sofortige Entlassung aus dem vorzeitigen Strafvollzug. Er rügt eine Verletzung von Art. 5 Ziff. 4 EMRK wegen der Dauer des Haftprüfungsverfahrens und eine Verletzung seines Anspruchs auf rechtliches Gehör in demselben. Ferner sieht er Art. 5 Ziff. 1 lit. c sowie Ziff. 3 und 4 EMRK bzw. Art. 9 und 31 Abs. 1 BV durch eine übermässige Haftdauer, einen Verstoss gegen das Beschleunigungsgebot und eine unzulässige Annahme von Fluchtgefahr verletzt.
Die Bezirksanwaltschaft ersucht um Abweisung der Beschwerde. Der Haftrichter hat auf eine Vernehmlassung verzichtet.
Der Beschwerdeführer hält in der Replik an seinen Anträgen fest.

Das Bundesgericht zieht in Erwägung:
1.- a) Gemäss ständiger bundesgerichtlicher Praxis ist die Überprüfung der Verfassungs- bzw. Konventionsmässigkeit des vorzeitigen Strafvollzugs denselben Kriterien unterworfen wie die Überprüfung der Untersuchungs- bzw. Sicherheitshaft.
Der Angeschuldigte ist berechtigt, jederzeit ein Begehren um Entlassung aus dem vorzeitigen Strafvollzug zu stellen (vgl. <ref-ruling> E. 1d S. 78 ff. mit Hinweisen auf Lehre und Praxis).
b) Mit einer staatsrechtlichen Beschwerde gegen einen Haftentscheid kann, in Abweichung vom Grundsatz der kassatorischen Natur der staatsrechtlichen Beschwerde, ausser der Aufhebung des angefochtenen Entscheids, auch die sofortige Entlassung aus der Haft verlangt werden (<ref-ruling> E. 4b/aa S. 333 mit Hinweisen). Der Antrag des Beschwerdeführers, er sei freizulassen, ist daher zulässig.
2.- Nach Zürcher Strafprozessrecht darf Untersuchungshaft nur angeordnet werden, wenn der Angeschuldigte eines Verbrechens oder Vergehens dringend verdächtigt wird und ausserdem noch einer der speziellen Haftgründe der Flucht-, Wiederholungs-, Ausführungs- oder Kollusionsgefahr gegeben ist. Die Untersuchungshaft ist aufzuheben, wenn ihre Voraussetzungen nicht mehr bestehen, und sie darf nicht länger dauern als die zu erwartende Freiheitsstrafe (§ 58 des Zürcher Gesetzes betreffend den Strafprozess vom 4. Mai 1919 [StPO/ZH, LS 321]).
Der Beschwerdeführer beruft sich, um seine Haftentlassung zu erreichen, auf die in <ref-law> enthaltene Garantie, dass ihm nur in den vom Gesetz selber vorgesehenen Fällen und auf die vom Gesetz vorgeschriebene Weise die Freiheit entzogen werden darf. Art. 5 Ziff. 1 lit. c EMRK, der ebenfalls angerufen wird, enthält keine darüber hinaus gehenden Garantien. Er stand vielmehr bei der Niederschrift von <ref-law> Pate (vgl. Botschaft über eine neue Bundesverfassung vom 20. November 1996 [BBl 1997 I 185]). Das angerufene Beschleunigungsgebot und der Anspruch auf ein rasches Verfahren über Haftentlassungsgesuche sind ebenso nicht nur in Art. 5 Ziff. 3 und 4 EMRK, sondern jetzt auch in Art. 31 Abs. 3 und 4 BV vorgesehen.
Bei staatsrechtlichen Beschwerden, die wegen der Ablehnung eines Haftentlassungsgesuches erhoben werden, prüft das Bundesgericht angesichts von <ref-law> und im Hinblick auf die Schwere des Eingriffes die Auslegung und Anwendung des kantonalen Rechts frei. Soweit jedoch reine Sachverhaltsfragen und damit Fragen der Beweiswürdigung zu beurteilen sind, greift das Bundesgericht nur ein, wenn die tatsächlichen Feststellungen der kantonalen Instanz willkürlich sind (<ref-ruling> E. 2d S. 271 mit Hinweis).
3.- Der Beschwerdeführer rügt zunächst eine Verletzung von Art. 5 Ziff. 4 EMRK und macht geltend, die Behandlung seines Haftentlassungsgesuchs habe die zulässige Dauer überschritten.
a) Gemäss Art. 5 Ziff. 4 EMRK hat jede Person, der die Freiheit durch Festnahme oder Haft entzogen wird, das Recht, ein Verfahren zu beantragen, in dem von einem Gericht raschestmöglich ("à bref délai") über die Rechtmässigkeit der Freiheitsentziehung entschieden und im Falle der Widerrechtlichkeit ihre Entlassung angeordnet wird. Auch <ref-law> schreibt vor, dass über Haftentlassungsgesuche "so rasch wie möglich" zu entscheiden ist. Diese Vorschriften finden auch auf den Gefangenen Anwendung, der sich im vorzeitigen Strafvollzug befindet. Dabei kann die Frage, innerhalb welcher Frist entschieden werden muss, nicht abstrakt beurteilt werden; der Entscheid hängt vielmehr von der Würdigung der konkreten Umstände des Einzelfalles ab (vgl. zum Ganzen <ref-ruling> E. 3a S. 375; Entscheid des Bundesgerichts vom 12. Dezember 1991 in EuGRZ 1991 S. 526 E. 4 mit Hinweisen). Der Anspruch auf einen raschestmöglichen Entscheid wird dann nicht verletzt, wenn der Behörde auf Grund der Umstände des Falles ein früherer Entscheid vernünftigerweise nicht möglich war (<ref-ruling> E. 2c S. 61; <ref-ruling> E. 5c S. 91 mit Hinweisen).
Im Einzelnen hat die Rechtsprechung eine Verfahrensdauer von 31 bzw. 46 Tagen (Urteil des EGMR i.S.
Sanchez-Reisse c. Schweiz, Série A, Band 107, Ziff. 59 und 60) oder von 41 Tagen (BGE <ref-ruling> E. 5c S. 92) als übermässig betrachtet. Ein Haftprüfungsverfahren, welches 30 bzw. 50 Tage gedauert hat, hält vor Art. 5 Ziff. 4 EMRK nicht stand, sofern der Haftfall keine besonderen verfahrensrechtlichen oder materiellen Schwierigkeiten aufweist und das Verhalten des Beschwerdeführers zu keinen wesentlichen Verzögerungen Anlass gegeben hat (Urteil des Bundesgerichts vom 28. September 1989 in EuGRZ 1989 S. 441 E. 4d/cc). Auf Grund von besonderen Umständen hat das Bundesgericht ferner eine Dauer von 29 Tagen als mit der Konvention vereinbar erklärt (<ref-ruling> E. 3b S. 376).
Schliesslich hat es befunden, eine Verfahrensdauer von 15 Tagen sei mit der Konvention vereinbar, wenn davon fünf Tage für eine Replik des Verhafteten von diesem zu vertreten war.
b) Der Beschwerdeführer hat sein Haftentlassungsgesuch am 9. März 2000 gestellt. Fünf Tage darauf hat sich die Bezirksanwaltschaft vernehmen lassen. Nach weiteren sechs Tagen hat er zu dieser Vernehmlassung Stellung genommen und drei Tage nach dieser Stellungnahme (also 14 Tage nach Stellen des Gesuchs) erging die Verfügung vom 23. März 2000, die dem Gesuch keine Folge gab. Angesichts des Umfangs der Verfahrensakten kann bis hierher ein rascheres Verfahren nicht gefordert werden. Daraufhin dauerte es jedoch weitere zwölf Tage, bis der endgültige Entscheid erging. Das ganze Verfahren dauerte somit 26 Tage.
Im vorliegenden Fall hat der Beschwerdeführer höchstens die sechs Tage zu verantworten, die er zum Einreichen einer Replik benötigte. Aus dem angefochtenen Entscheid ist nicht ersichtlich, dass sich der Haftrichter mit besonderen materiellen Schwierigkeiten auseinander setzen musste. Hingegen stellte sich die Frage der Zuständigkeit zur Behandlung des Haftentlassungsgesuchs, was (wie in <ref-ruling> E. 3b S. 376) eine gewisse Verzögerung des Verfahrens rechtfertigen kann. Diese Frage beantwortete der Haftrichter zuerst falsch. Da der Präsident des Bezirksgerichts mit seiner Verfügung vom 1. März 2000 die Anklage (vorläufig) nicht zugelassen hatte, war der Haftrichter wieder zuständig, Haftentlassungsgesuche endgültig zu beurteilen (vgl. § 64 Abs. 3 und 62 StPO/ZH; Andreas Donatsch/ Niklaus Schmid, Kommentar zur Strafprozessordnung des Kantons Zürich, 1996, § 167 N. 6). Dieser Fehler wurde jedoch von der Anklagekammer acht Tage später korrigiert und der Haftrichter traf daraufhin nach vier Tagen den angefochtenen Entscheid. Da der Verfahrensfehler rasch korrigiert wurde, verletzt die zu seiner Behebung verlorene Zeit nicht den Anspruch auf ein rasches Haftprüfungsverfahren, zumal die Gesamtdauer des Verfahrens trotz dieser Schwierigkeit nur 26 Tage betrug.
4.- a) Weiter rügt der Beschwerdeführer, die gesamte Dauer seiner Haft drohe die Strafe, zu der er verurteilt werden dürfte, zu überschreiten. Wie schon in seinem Haftentlassungsgesuch macht er verschiedene Gründe geltend, warum der Strafantrag der Bezirksanwaltschaft von acht Jahren Zuchthaus weit übersetzt sei. Der Haupttäter sei ein anderer, die Deliktsumme betrage 8 Millionen Franken, wovon ihm nur ein Viertel zugeflossen sei, die Geschädigten seien leichtsinnig gewesen, für gewisse Anklagepunkte fehle die schweizerische Gerichtsbarkeit, bei anderen sei die juristische Qualifikation falsch. Demgegenüber könne nach der vorläufigen Rückweisung der Anklage nicht mehr mit einem Urteil in diesem Jahr gerechnet werden, während er schon jetzt annähernd 44 Monate in Haft sei, was - unter Berücksichtigung der Möglichkeit einer bedingten Entlassung - dem Verbüssen einer Freiheitsstrafe von 5 1/2 Jahren gleichkomme.
b) Der Haftrichter verweist im angefochtenen Entscheid zulässigerweise auf seine früheren Entscheide, die begründen, warum der Beschwerdeführer mit einer Verurteilung wegen gewerbsmässigen Betrugs im Sinne von <ref-law> als schwerstem Delikt zu rechnen habe. In diesen Entscheiden wird auch ausgeführt, dass die Möglichkeit einer bedingten Entlassung nach <ref-law> nicht in die Berechnung der höchstzulässigen Dauer der Untersuchungshaft einzubeziehen sei. Weiterhin berücksichtigt der Haftrichter, dass die Bezirksanwaltschaft in ihrer vorläufig zurückgewiesenen Anklage eine Zuchthausstrafe von acht Jahren beantragt.
Er führt aus, selbst beim Ausfällen einer zwei oder drei Jahre tieferen Strafe sei eine Fortsetzung der Haft zulässig. Im Übrigen dürfe er dem Sachrichter hinsichtlich der Qualifikation der eingeklagten Sachverhalte und der Strafzumessung im Hinblick auf das Ausfällen einer schuldangemessenen Strafe nicht vorgreifen und habe sich diesbezüglich auch nicht näher mit den Vorbringen der Verteidigung auseinander zu setzen. Der Beschwerdeführer rügt diese Erwägung als Verletzung seines Anspruchs auf rechtliches Gehör.
Der Haftrichter habe einzig auf den Antrag der Bezirksanwaltschaft abgestellt und sich ausdrücklich geweigert, auf die Gegenargumente des Beschwerdeführers einzugehen.
5.- Zunächst ist zu prüfen, ob der Haftrichter bei der Behandlung der Rüge der Überhaft den Anspruch des Beschwerdeführers auf rechtliches Gehör verletzt hat.
a) Aus dem in <ref-law> garantierten Anspruch auf rechtliches Gehör ergibt sich die Pflicht der Behörden, Vorbringen der Parteien zu hören, sorgfältig und ernsthaft zu prüfen und bei der Entscheidfindung zu berücksichtigen.
Dass eine solche Prüfung vorgenommen wurde, müsste aus der Begründung des Entscheids sichtbar sein. Prüfungs- und Begründungspflicht sind in diesem Sinne ein Ganzes (vgl. Arthur Haefliger, Alle Schweizer sind vor dem Gesetz gleich, 1985, S. 147). Daher sind Entscheide grundsätzlich zu begründen. Dies soll dazu beitragen, dass sich die Behörde nicht von sachfremden Motiven leiten lässt und dient sowohl der Transparenz der Entscheidfindung als auch der Selbstkontrolle der Behörden. Eine Behörde muss wenigstens kurz die Überlegungen darstellen, von denen sie sich leiten liess und auf welche sie ihren Entscheid stützt (<ref-ruling> E. 2c S. 372 mit Hinweisen). Sie darf sich aber auf die für den Entscheid wesentlichen Gesichtspunkte beschränken und muss sich nicht ausdrücklich mit jeder tatsächlichen Behauptung und jedem rechtlichen Einwand auseinander setzen. Je stärker ein Entscheid in Grundrechte eingreift, desto höher sind die Anforderungen an die Begründung eines Entscheides (vgl. <ref-ruling> E. 1a und ausführlich <ref-ruling> E. 2b S. 109 f., je mit Hinweisen). Haftentscheide haben wegen des Beschleunigungsgebots notwendigerweise summarischen Charakter. Trotzdem gilt die Begründungspflicht auch für sie, wobei es genügt, wenn die Begründung aus einem früheren oder vorinstanzlichen Urteil oder einer Vernehmlassung hervorgeht, auf welche verwiesen wird (vgl.
<ref-ruling> E. 2 S. 33 ff. und Zusammenfassung der Rechtsprechung im Entscheid des Bundesgerichts vom 12. September 1996, in EuGRZ 1997, S. 15 E. 2a S. 16).
Wie intensiv der Haftrichter sich mit der zu erwartenden Strafe auseinander setzen muss, hängt davon ab, in wie grosse Nähe die Gefahr einer Überhaft rückt. Nach <ref-law> darf die Untersuchungshaft nicht länger dauern als die zu erwartende Freiheitsstrafe. Diese Bestimmung, die mit der Rechtsprechung des Bundesgerichts zu Art. 5 Ziff. 3 EMRK übereinstimmt (<ref-ruling> E. 6 S. 215) und heute auch der Vorschrift von <ref-law> entspricht, verbietet es dem Haftrichter, die Untersuchungshaft zu verlängern, wenn ihre Dauer in grosse Nähe der konkret zu erwartenden Freiheitsstrafe rückt. Bei der Bemessung der Letzteren ist auf alle nach dem Untersuchungsstand bekannten Umstände abzustellen (Donatsch/Schmid, a.a.O., § 58 N. 85 f.).
b) aa) Das Bundesgericht hat schon in seinem Entscheid vom 4. Mai 1999 festgehalten, dass kein Anlass besteht, die meisten dem Beschwerdeführer vorgeworfenen Taten nicht als gewerbsmässigen Betrug zu würdigen. Dafür sieht <ref-law> eine Maximalstrafe von zehn Jahren Zuchthaus vor. Die Bezirksanwaltschaft beantragt in ihrer vorläufig zurückgewiesenen Anklage eine Zuchthausstrafe von acht Jahren. Der Haftrichter schliesst im angefochtenen Entscheid auch eine zwei oder drei Jahre tiefere Strafe nicht aus.
Der Beschwerdeführer rechnet mit einer Strafe von maximal vier Jahren Zuchthaus. Auch der Haftrichter führte noch in seiner Verfügung vom 31. März 1999 aus, eine Freiheitsstrafe von "z.B. vier Jahren" erscheine "jedenfalls nicht unwahrscheinlich". In seinem Entscheid vom 4. Mai 1999 führte das Bundesgericht aus, es sei davon auszugehen, dass der Beschwerdeführer mit einer deutlich höheren als einer zwei- bis dreijährigen Freiheitsstrafe zu rechnen habe.
bb) In seinem Entscheid vom 31. März 1999 hatte der Haftrichter noch festgehalten, dass zumindest dann noch keine augenfällige Überhaft drohe, wenn die Untersuchung Ende Juni 1999 abgeschlossen werden könne. Dem hat das Bundesgericht in seinem Entscheid vom 4. Mai 1999 beigestimmt und festgehalten, eine rasche Beendigung der Untersuchung erscheine als geboten, da auch die Durchführung des Gerichtsverfahrens einige Zeit beanspruchen werde. Inzwischen konnte die Untersuchung nicht bis Ende Juni 1999 abgeschlossen werden. Am 8. Februar 2000 ist zwar eine Anklage erhoben worden; sie wurde aber am 1. März 2000 vorläufig nicht zugelassen.
Dabei wurden hauptsächlich eine Kürzung und formale Überarbeitung verlangt, aber es wurde auch auf materielle Probleme hingewiesen. Selbst wenn in diesen Tagen, wie die Bezirksanwaltschaft ankündigt, mit der überarbeiteten Anklage gerechnet werden könnte, ist angesichts der Einarbeitungszeit und der Termine des Bezirksgerichts damit zu rechnen, dass der Beschwerdeführer bis zum bezirksgerichtlichen Urteil mindestens vier Jahre in Haft verbracht haben wird.
c) Nach dem Vorstehenden erscheint eine Freiheitsstrafe von vier oder fünf Jahren nicht von vornherein ausgeschlossen.
Anderseits befand sich der Beschwerdeführer zum Zeitpunkt des angefochtenen Entscheids seit 43 Monaten in Haft, und mit einem bezirksgerichtlichen Urteil ist nicht vor dem 48. Haftmonat zu rechnen. Es fragt sich, wie intensiv sich der Haftrichter bei dieser Sachlage mit der zu erwartenden Freiheitsstrafe hätte auseinander setzen müssen.
aa) In einem unveröffentlichten Entscheid vom 15. November 1988 i.S. W. hatte das Bundesgericht eine Haftverlängerung in einem mit dem vorliegenden vergleichbaren Fall von Wirtschaftsdelinquenz zu beurteilen. Der Angeklagte befand sich seit 44 Monaten in Untersuchungshaft, der gesetzliche Strafrahmen lag bei einer Freiheitsstrafe von 15 Jahren Zuchthaus, die Anklage war schon überwiesen worden und der Beginn der Hauptverhandlung auf 2 1/2 Monate nach dem bundesgerichtlichen Urteil festgesetzt. Dieser Fall wurde später vor die EKMR gebracht, die Art. 5 Ziff. 3 EMRK als verletzt ansah. Der EGMR sah diese Bestimmung schliesslich nicht als verletzt an, unter anderem wegen der dauernden und intensiven Kontrolle der Verhältnismässigkeit der Haft, die das Bundesgericht in jenem Fall ausgeübt hatte (vgl. Urteil i.S. W. c. Schweiz vom 26. Januar 1993, Serie A, Band 254A, Ziff. 42). Im genannten Entscheid hat das Bundesgericht darauf hingewiesen, dass bei der Prognose der zu erwartenden Freiheitsstrafe ein strengerer Massstab anzulegen sei als bei der Frage, ob der Beschuldigte eines Verbrechens oder eines Vergehens hinreichend verdächtigt sei. Bei der Prüfung des dringenden Tatverdachts geht es darum, ob die Untersuchungsbehörden diesen Verdacht mit vertretbaren Gründen bejahen durften um damit - neben dem Vorliegen eines speziellen Haftgrundes - die Untersuchungshaft an sich zu rechtfertigen (vgl. auch <ref-ruling> E. 3c S. 146). Bei der Berechnung der maximal zulässigen Dauer der Untersuchungshaft gehe es jedoch nicht nur um einen Verdacht, sondern es werde vielmehr in Vorwegnahme des Urteils vorausgesetzt, dass der Beschuldigte tatsächlich zu einer Freiheitsstrafe in bestimmter Höhe verurteilt werde. Von daher rechtfertige es sich, in die Berechnung der maximalen Höchstdauer der Untersuchungshaft nicht schon alle Straftaten einzubeziehen, deren der Beschuldigte hinreichend verdächtigt sei, sondern nur solche, bei denen es mit an Sicherheit grenzender Wahrscheinlichkeit auch zu einer Verurteilung kommen werde. Auch hinsichtlich der Höhe der konkret zu erwartenden Freiheitsstrafe ist eine genaue und sorgfältig erarbeitete Prognose notwendig, wenn die erstandene Haft sich der möglichen Freiheitsstrafe annähert.
bb) Nach der Rechtsprechung des Bundesgerichts ist die Möglichkeit einer bedingten Entlassung bei der Berechnung der mutmasslichen Dauer der Freiheitsstrafe grundsätzlich ausser Acht zu lassen, es sei denn, die konkreten Umstände des Falles würden eine Berücksichtigung ausnahmsweise gebieten (Urteil vom 26. März 1991 i.S. V., E. 2d, auszugsweise publiziert in SZIER 2/1992, S. 489 f., sowie zahlreiche nicht veröffentlichte Urteile). Ein Ausnahmefall kann z.B. dann vorliegen, wenn die Voraussetzungen von <ref-law> aufgrund der konkreten Umstände aller Wahrscheinlichkeit nach erfüllt sein werden.
cc) Der Beschwerdeführer ist nunmehr seit fast 44 Monaten in Untersuchungshaft, so dass bei Berücksichtigung der Möglichkeit einer bedingten Entlassung die Haft nur fortgesetzt werden kann, wenn eine Freiheitsstrafe von mehr als 66 Monaten, also 5 1/2 Jahren zu erwarten ist. Es erscheint nicht von vornherein unwahrscheinlich, dass der Beschwerdeführer zu einer Freiheitsstrafe von dieser oder einer geringeren Dauer verurteilt wird. Nach der dargestellten Rechtsprechung hätte der Haftrichter daher abzuklären gehabt, ob beim Beschwerdeführer Gründe bestehen, die eine ausnahmsweise Berücksichtigung der Möglichkeit einer bedingten Entlassung rechtfertigen oder erforderlich machen. Ebenso hätte er eine Prognose stellen müssen, für welche Delikte der Beschwerdeführer mit hoher Wahrscheinlichkeit verurteilt wird, welches Strafmass konkret mindestens zu erwarten und wann mit einem bezirksgerichtlichen Urteil zu rechnen ist.
In diesem Zusammenhang hätte er die entsprechenden Argumente des Beschwerdeführers prüfen und in der Begründung des angefochtenen Entscheids kurz behandeln müssen. Da er dies nicht getan hat, sondern ausdrücklich ausführt, eine solche Prüfung stehe ihm nicht zu, hat er den Anspruch des Beschwerdeführers auf rechtliches Gehör verletzt.
d) Die Beschwerde ist demnach gutzuheissen und der angefochtene Entscheid aufzuheben, weil er den Anspruch des Beschwerdeführers auf rechtliches Gehör verletzt. Bei diesem Ergebnis erübrigt es sich zu entscheiden, ob dem Beschwerdeführer tatsächlich Überhaft droht, also Art. 5 Ziff. 3 EMRK und <ref-law> verletzt, bzw. <ref-law>/ZH willkürlich angewandt wurden. Dies wird vielmehr zunächst der Haftrichter im Sinne der vorstehenden Erwägungen zu beurteilen haben.
6.- Der weitere Antrag des Beschwerdeführers, er sei aus dem vorzeitigen Strafvollzug zu entlassen, ist hingegen abzuweisen.
a) Ob die Freilassung wegen drohender Überhaft anzuordnen ist, wird - wie gesagt - der Haftrichter zu entscheiden haben.
b) Die übrigen Rügen, die der Beschwerdeführer zu Gunsten seiner Entlassung vorbringt, sind hingegen ungerechtfertigt.
aa) Das vom Beschwerdeführer angerufene, von Art. 5 Ziff. 3 EMRK und <ref-law> geschützte Beschleunigungsgebot ist verletzt, wenn die Untersuchungsbehörden das Verfahren nicht genügend vorantreiben. Ob dies der Fall ist, beurteilt sich nach der übereinstimmenden Rechtsprechung des Bundesgerichts und der Strassburger Organe auf Grund der konkreten Verhältnisse des einzelnen Falles. Dabei ist sowohl das Verhalten der Untersuchungsbehörden als auch dasjenige des Angeschuldigten zu berücksichtigen (vgl. Urteil des EGMR i.S. W. c. Schweiz, a.a.O., Ziff. 30 und 39 ff.; <ref-ruling> E. 2b S. 258; vgl. auch <ref-ruling> E. 2b und c S. 141 ff.; <ref-ruling>; <ref-ruling> E. 5a S. 147).
Das Bundesgericht hat bereits in seinem Entscheid vom 8. Dezember 1997 festgestellt, dass die Strafuntersuchung gegen den Beschwerdeführer sehr umfangreich ist und die kantonalen Behörden mit angemessenen Mitteln an sie herangehen.
Dass das Beschleunigungsgebot bis April 1999 beachtet worden war, hat das Bundesgericht in seinem Entscheid vom 4. Mai 1999 erkannt und begründet. Seither konnte die Untersuchung zwar nicht, wie damals erwartet, bis Ende Juni 1999 abgeschlossen werden. Der Beschwerdeführer erhielt jedoch bis August 1999 regelmässig auf Englisch übersetzte schriftliche Schlussvorhalte. Im Oktober und November 1999 sowie im Februar 2000 bekam er nur sporadisch Dokumente oder wurde einvernommen. Hingegen wurde der Mitangeklagte S._ im September und Dezember 1999 regelmässig und Ende Januar 2000 wiederum befragt. Der Mitangeklagte B._ wurde im Oktober 1999 regelmässig befragt.
Gleichzeitig wurde offenbar die Anklage ausgearbeitet, da sie am 8. Februar 2000 im Umfang von 346 Seiten eingereicht wurde. Am 1. März 2000 wurde diese zwar vorläufig zur Überarbeitung zurückgewiesen. Im betreffenden Entscheid hat der Bezirksgerichtspräsident jedoch angeordnet, dass die Akten beim Bezirksgericht bleiben, damit der vorgesehene Referent sich in sie einarbeiten könne. Im Weiteren hat die Bezirksanwaltschaft in der haftrichterlichen Anhörung des Mitangeklagten S._ eine Überarbeitung der Anklage bis Ende April 2000 zugesichert. Gegenwärtig verstösst daher die mit der vorläufigen Zurückweisung zusammenhängende, eindeutig den Behörden zuzuschreibende Verzögerung trotz der bisherigen sehr langen Gesamtdauer der Untersuchung noch nicht gegen das Beschleunigungsgebot. Der Umfang der Untersuchung (allein die Kernakten füllen 86 Bundesordner), die Tatsache, dass diese in erheblichem Umfang im Ausland geführt werden musste sowie die erhebliche Zahl von Mitbeteiligten erlauben diese Gesamtbewertung. Die Untersuchung richtete sich ursprünglich gegen 18 Personen, das der Anklage beigefügte, jedoch zurückgewiesene Geschädigtenverzeichnis zählt 130 Geschädigte auf. Es darf auch berücksichtigt werden, dass der Beschwerdeführer die Dauer der Untersuchung dadurch mitverursacht hat, dass er keinerlei Buchhaltung führte und abwechselnd jede Mitarbeit verweigerte und dann wieder auf diese Weigerung zurückkam (vgl. ebenso der EGMR i.S. W. c.
Schweiz, a.a.O., Ziff. 42).
bb) Der Beschwerdeführer bestreitet das Vorliegen einer Fluchtgefahr, auf die sich der angefochtene Entscheid abstützt. Nach der Rechtsprechung braucht es für die Annahme der Fluchtgefahr eine gewisse Wahrscheinlichkeit, dass sich der Angeschuldigte, wenn er in Freiheit wäre, der Strafverfolgung und dem Vollzug der Strafe durch Flucht entziehen würde. Hierfür genügt die theoretische Möglichkeit einer Flucht nicht. Für die Beurteilung der Fluchtgefahr sind vielmehr die gesamten konkreten Umstände des Falles in Betracht zu ziehen. Der Charakter des Betroffenen, sein bisheriges Verhalten, sein Wohnsitz, sein Beruf, seine Vermögensverhältnisse, seine Familienbande und seine Beziehungen im Staat, in dem er der Strafverfolgung unterliegt, sind zu berücksichtigen (vgl. Urteil des EGMR i.S. Neumeister c.
Österreich vom 27. Juni 1968, Serie A, Band 7, Ziff. 10).
Dabei darf auch die Schwere der drohenden Strafe als ein Indiz für die Fluchtgefahr gewertet werden, aber sie alleine genügt nicht für deren Bejahung (vgl. <ref-ruling> E. 3a S. 62 mit Hinweisen). Die Tatsache, dass der Angeschuldigte Ausländer ist, genügt nicht als alleiniges zusätzliches Indiz; auch dann kann eine Gesamtwürdigung der Beziehungen zur Schweiz es erlauben, auf eine geringe Fluchtgefahr zu schliessen. Selbst die Wahrscheinlichkeit einer Flucht in ein Land, aus dem der Angeschuldigte wieder an die Schweiz ausgeliefert werden könnte, oder das die Strafverfolgung stellvertretend übernehmen würde, kann eine Untersuchungshaft rechtfertigen (<ref-ruling> E. 3d S. 36 f.).
Bei der Bewertung der Fluchtgefahr ist nicht nur die dem Beschwerdeführer in der Schweiz drohende Strafe zu berücksichtigen, deren Bedeutung als Motiv für eine Flucht mit andauernder Haft, die auf die Freiheitsstrafe angerechnet wird, abnimmt (vgl. Urteil des EGMR i.S. W. c. Schweiz, a.a.O., S. 33 mit Hinweisen). Vielmehr ist auch die Tatsache zu berücksichtigen, dass er sich durch eine Flucht auch dem rechtskräftigen Auslieferungsbefehl und der ihm offenbar in den USA drohenden langjährigen Freiheitsstrafe entziehen könnte. Ausserdem hat er keinerlei Beziehung zur Schweiz und hätte hier kein Auskommen. Es erscheint somit unwahrscheinlich, dass er sich in Freiheit zur Verfügung der Schweizer Behörden halten würde. Der Beschwerdeführer und die Bezirksanwaltschaft berufen sich ebenfalls auf den rechtskräftigen Auslieferungsentscheid zu Gunsten der USA. Der Beschwerdeführer leitet aus diesem ab, dass er gar nicht fliehen könnte, weil er bei einer Freilassung sofort ausgeliefert würde und daher weiterhin in behördlichem Gewahrsam bliebe. Die Bezirksanwaltschaft macht geltend, dass der Beschwerdeführer vom Haftrichter angesichts des Auslieferungsentscheids gar nicht freigelassen werden dürfte, bzw. nach einer Auslieferung nicht mehr für das Schweizer Verfahren zur Verfügung stünde. Beide Argumente verkennen in gewisser Weise, dass das Auslieferungs- und das Untersuchungsverfahren voneinander unabhängig sind; sie werden von verschiedenen Behörden geführt. Die Haftgründe sind unterschiedlich, wobei der Auslieferungshaftbefehl nicht vollstreckbar ist, solange die Untersuchungshaft andauert (<ref-law>). Beide Haftprüfungsverfahren sind somit grundsätzlich unbekümmert um den Verlauf des anderen zu führen (vgl. <ref-ruling> ff.
E. 1). In beiden ist gesondert zu prüfen, ob die gesetzlichen Voraussetzungen für die Anordnung von Untersuchungs- bzw. Auslieferungshaft gegeben sind. Wie das Bundesgericht schon in seinem Entscheid vom 8. Dezember 1997 in Sachen des Beschwerdeführers erkannt hat, geht es somit nicht an, die Fluchtgefahr allein unter Hinweis auf den bestehenden Auslieferungshaftbefehl zu bejahen bzw. zu verneinen. Eine Auslieferungshaft muss jedoch bei rechtskräftigem Auslieferungsentscheid der sofortigen Auslieferung dienen und dürfte nicht dafür benutzt werden, einen Auszuliefernden zur Verfügung der Schweizer Strafverfolgungsbehörden zu halten.
7.- Auf Grund dieser Erwägungen ist die Beschwerde teilweise gutzuheissen und der angefochtene Entscheid des Haftrichters vom 4. April 2000 aufzuheben. Im Übrigen ist die Beschwerde abzuweisen.
In Anbetracht dieses Ausganges hat der Kanton Zürich den Beschwerdeführer für das bundesgerichtliche Verfahren im Verhältnis seines Obsiegens angemessen zu entschädigen (Art. 159 Abs. 2 und 3 OG). Im Ausmasse des Unterliegens kann dem Beschwerdeführer die unentgeltliche Rechtspflege gewährt werden (Art. 152 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird teilweise gutgeheissen und der Entscheid des Haftrichters am Bezirksgericht Zürich vom 4. April 2000 aufgehoben. Im Übrigen wird die Beschwerde abgewiesen.
2.- Der Kanton Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'000.-- zu entschädigen.
3.- Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt:
a) Es werden keine Kosten erhoben.
b) Rechtsanwalt Dr. Markus Raess wird als amtlicher Rechtsvertreter bezeichnet und für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit Fr. 800.-- entschädigt.
4.- Dieses Urteil wird dem Beschwerdeführer, der Bezirksanwaltschaft III für den Kanton Zürich, Büro 1, und dem Bezirksgericht Zürich, Haftrichter, schriftlich mitgeteilt.
_
Lausanne, 27. April 2000
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: