Erwägungen:
1. Der aus Angola stammende X._ (geb. 1974) reiste am 23. März 2009 von Frankreich kommend illegal und unter Verwendung von Ausweispapieren, die auf einen anderen Namen lauteten, in die Schweiz ein. Er wurde bei der Zollkontrolle festgenommen. Aufgrund eines früheren Aufenthalts in der Schweiz wurde er den Behörden des Kantons Zürich überstellt. Diese verfügten am 27. März 2009 die sofortige Wegweisung von X._ und nahmen ihn gleichzeitig in Ausschaffungshaft, welche die Haftrichterin am Bezirksgericht Zürich am 28. März 2009 bis zum 25. Juni 2009 bewilligte. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich am 6. Mai 2009 ab. Gegen den Entscheid des Verwaltungsgerichts erhebt X._ mit Eingabe vom 5. Juni 2009 Beschwerde beim Bundesgericht. Dieses hat die kantonalen Akten beigezogen, jedoch auf die Einholung von Vernehmlassungen verzichtet.
2. Auch wenn der Beschwerdeführer seine Eingabe an das Bundesgericht auf französisch formuliert hat, besteht keine Veranlassung von der Regel abzuweichen, das Urteil in der Sprache des angefochtenen Entscheids abzufassen (vgl. <ref-law>). Die Sicherheitsdirektion des Kantons Zürich wird jedoch dazu angehalten, dafür besorgt zu sein, dass dem Beschwerdeführer der vorliegende Entscheid korrekt eröffnet und verständlich gemacht wird.
3. Die Beschwerdeschrift lässt einen eigentlichen Antrag vermissen, und aus ihr lässt sich höchstens erahnen, worum es dem Beschwerdeführer geht (vgl. <ref-law>). Ob bereits deshalb auf die Beschwerde nicht einzutreten ist, kann mit Blick auf nachfolgende Ausführungen offen gelassen werden. Ausserdem hat der Haftrichter am Bezirksgericht inzwischen - am 10. Juni 2009 - die Haft bis zum 10. September 2009 verlängert. Ob dadurch das Rechtsschutzinteresse an der Behandlung der vorliegend rechtzeitig erhobenen Beschwerde entfallen ist, kann ebenso offen gelassen werden (vgl. aber Thomas Hugi Yar, Zwangsmassnahmen im Ausländerrecht, in: Peter Uebersax et al. [Hrsg.], Ausländerrecht, 2. Aufl. 2009, Rz. 10.126 und Fussnoten 336 und 513).
4. 4.1 Der Beschwerdeführer macht geltend, er habe in Frankreich um Asyl ersucht. Das dortige Asylverfahren sei noch nicht abgeschlossen. Einzig dieses Land dürfe über sein Asylgesuch befinden und seine Ausschaffung ausführen. Dazu habe sich die Vorinstanz trotz entsprechender Rügen nicht geäussert.
Zwar hat die Schweiz mit der Europäischen Gemeinschaft am 26. Oktober 2004 ein Abkommen über die Kriterien und Verfahren zur Bestimmung des zuständigen Staates für die Prüfung eines in einem Mitgliedstaat oder in der Schweiz gestellten Asylantrags geschlossen (vgl. Dublin-Assoziierungsabkommen, SR 0.142.392.68). Dieses Abkommen ist am 1. März 2008 in Kraft getreten. Es steht vorliegend der Ausschaffungshaft in der Schweiz jedoch nicht entgegen, zumal der Beschwerdeführer illegal eingereist ist und momentan nicht feststeht, ob in Frankreich noch ein Asylverfahren läuft und der Beschwerdeführer dorthin zurückgeschafft werden kann. Im Übrigen wird der Beschwerdeführer darauf hingewiesen, dass es im Verfahren der Ausschaffungshaft nicht darum geht, ob er einen Asylanspruch hat.
4.2 Auch soweit der Beschwerdeführer geltend macht, er sei mit einer in der Schweiz anwesenheitsberechtigten Person verlobt, die ausserdem von ihm schwanger sei, dringt er nicht durch. Diese Umstände lassen die verfügte Wegweisung nicht als offensichtlich unzulässig oder die Haft als unverhältnismässig erscheinen. Es wurde nicht geltend gemacht, dass die Eheschliessung unmittelbar bevorsteht. Zudem hätte der Beschwerdeführer als illegal Eingereister einen allfälligen Bewilligungsentscheid grundsätzlich im Ausland abzuwarten (vgl. Art. 17 AuG, SR 142.20; Hugi Yar, a.a.O., Rz. 10.150 f. mit Hinweisen).
4.3 Für alles Weitere kann auf die zutreffenden Ausführungen im angefochtenen Entscheid und in der Verfügung der Haftrichterin vom 28. März 2009 verwiesen werden (<ref-law>). Dort wurde insbesondere zu Recht eine Untertauchensgefahr gemäss Art. 76 Abs. 1 lit. b Ziff. 3 AuG beim Beschwerdeführer angenommen.
4.4 Dem Dargelegten zufolge erweist sich die Beschwerde als offensichtlich unbegründet, soweit darauf einzutreten ist. Sie kann daher im vereinfachten Verfahren mit summarischer Begründung nach <ref-law> behandelt werden.
5. Bei diesem Ausgang würde der Beschwerdeführer kostenpflichtig. Praxisgemäss wird jedoch angesichts seiner Einkommensverhältnisse auf die Erhebung von Gerichtskosten verzichtet (vgl. Art. 65 und 66 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion, dem Bezirksgericht Zürich, Haftrichterin, sowie dem Verwaltungsgericht, 1. Kammer, des Kantons Zürich und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 18. Juni 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Merz