Sachverhalt: A. X._ wird unter anderem vorgeworfen, den neuen Lebenspartner seiner früheren Ehefrau mit dem Tod bedroht zu haben. Er wurde mit Verfügung des Haftrichters des Bezirks Uster vom 28. Januar 2008 in Untersuchungshaft versetzt. Am 25. April 2008 ordnete der Einzelrichter am Bezirksgericht Zürich als Haftrichter die Fortsetzung der Untersuchungshaft einstweilen längstens bis 28. Juli 2008 an. Der Haftrichter verneinte das Vorliegen von Kollusionsgefahr und stützte die Haftverlängerung nebst dem dringenden Tatverdacht auf Fortsetzungs- und Ausführungsgefahr. Nach der Schlusseinvernahme durch die Staatsanwaltschaft ersuchte der Beschuldigte am 20. Mai 2008 um Bewilligung des vorzeitigen Strafantritts. Die Staatsanwaltschaft lehnte dieses Begehren mit Verfügung vom 21. Mai 2008 ab. Sie führte aus, die Strafuntersuchung sei zwar abgeschlossen. Zusätzlich zur Wiederholungsgefahr bestünde jedoch Kollusionsgefahr, da im Strafvollzug aus betrieblichen Gründen die Aussenkontakte nicht hinreichend kontrolliert werden könnten. B. Mit Beschwerde in Strafsachen an das Bundesgericht vom 23. Mai 2008 beantragt X._ im Wesentlichen, ihm sei sofort der vorzeitige Strafantritt zu gewähren. Die Staatsanwaltschaft teilt mit, gegen den Beschuldigten sei am 20. Mai 2008 Anklage wegen Drohung erhoben worden. Im Übrigen verzichtet sie auf Vernehmlassung.