Erwägungen:
1. X._, geb. 1969, aus dem Kosovo stammend, stellte 1994 ein Asylgesuch, welches erfolglos blieb. Hingegen wurde X._ vorläufig aufgenommen. Nach Aufhebung der vorläufigen Aufnahme reiste er nicht aus; vielmehr war er seit November 2000 als verschwunden gemeldet. Als er anfangs 2007 im Kanton Aargau in eine Kontrolle geriet und ihm der illegale Aufenthalt vorgehalten wurde, stellte er ein Begehren um Bewilligung der Anwesenheit in der Schweiz, welchem kein Erfolg beschieden war. Am 16. April 2008 nahm ihn die Kantonspolizei Biel im Hinblick auf die geplante Ausschaffung fest. Die Fremdenpolizei der Stadt Biel wies ihn gleichentags weg und ordnete die Ausschaffungshaft an. Ein Laissez Passer war zuvor beschafft und ein Rückflug nach Pristina (Kosovo) auf den Morgen des 20. Mai 2008 gebucht worden. X._ weigerte sich, das Flugzeug zu besteigen. Die Fremdenpolizei der Stadt Biel beantragte daher die richterliche Prüfung der Rechtmässigkeit und Angemessenheit der Haft. Nach am 21. Mai 2008 durchgeführter mündlicher Verhandlung bestätigte die Haftrichterin 2 des Haftgerichts III Bern-Mittelland die Ausschaffungshaft bis zum 15. August 2008.
Mit Schreiben in albanischer Sprache vom 23. Mai 2008 gelangte X._ an das Haftgericht, welches die als Beschwerde gegen seinen Entscheid vom 21. Mai 2008 zu betrachtende Eingabe mitsamt seinen Akten und dem Antrag auf Abweisung der Beschwerde am 26. Mai 2008 an das Bundesgericht weiterleitete. Vernehmlassungen oder (weitere) Akten sind nicht eingeholt worden.
2. 2.1 Wurde - wie vorliegend - ein erstinstanzlicher Wegweisungsentscheid eröffnet, so kann die zuständige Behörde den Ausländer zur Sicherstellung des Vollzugs dieses Entscheids in Ausschaffungshaft nehmen, wenn einer der gesetzlich vorgesehenen Haftgründe gegeben ist (Art. 76 Abs. 1 lit. b AuG). Die Rechtmässigkeit und die Angemessenheit der Haft sind spätestens nach 96 Stunden durch eine richterliche Behörde auf Grund einer mündlichen Verhandlung zu überprüfen (Art. 80 Abs. 1 Satz 1 AuG).
2.1.1 Der Beschwerdeführer wurde am 16. Mai 2008 um 14.40 Uhr in Haft genommen. Die Verhandlung vor der Haftrichterin fand am 21. Mai 2008 zwischen 11.15 und 12.30 Uhr statt; die Frist von 96 Stunden wurde damit um rund 21 Stunden überschritten. Nun wäre aber der Beschwerdeführer vor Ablauf der 96 Stunden ausgeschafft worden, wenn er sich nicht geweigert hätte, in Zürich in das Flugzeug zu steigen. Nach seiner Rücküberführung nach Bern wurde der Termin für eine mündliche Verhandlung innert kürzester Frist angesetzt. Unter den gegebenen Umständen lässt sich die Verspätung nicht beanstanden; es kann diesbezüglich vollumfänglich auf die entsprechenden Ausführungen der Haftrichterin im angefochtenen Entscheid verwiesen werden (Art. 109 Abs. 3 BGG).
2.1.2 Der von der Haftrichterin bestätigte Haftantrag der Fremdenpolizei der Stadt Biel stützt sich auf die Haftgründe von Art. 76 Abs. 1 lit. b Ziff. 3 und 4 AuG (Untertauchensgefahr); danach kann der Ausländer in Haft genommen werden, wenn konkrete Anzeichen befürchten lassen, dass er sich der Ausschaffung entziehen will, oder allgemein wenn sein bisheriges Verhalten darauf schliessen lässt, dass er sich behördlichen Anordnungen widersetzt. Beim von der Haftrichterin für das Bundesgericht verbindlich festgestellten Sachverhalt (vgl. Art. 105 in Verbindung mit Art. 97 Abs. 1 BGG) sind diese Haftgründe offensichtlich erfüllt: Der Beschwerdeführer wäre seit Jahren zur Ausreise aus der Schweiz verpflichtet gewesen und verhinderte den zwangsweisen Wegweisungsvollzug durch jahrelanges Untertauchen. Er lehnt es kategorisch ab, in sein Heimatland zurückzukehren; diese Haltung dokumentierte er besonders drastisch durch seine Weigerung, den zum Vollzug seiner Wegweisung organisierten Flug anzutreten (vgl. zum Haftgrund der Untertauchensgefahr BGE 130 II 56 E. 3.1 S. 58 f. mit Hinweisen). Die erfolglos gebliebenen Bemühungen, im Jahr 2007 zu einer Anwesenheitsberechtigung zu kommen, standen der formlosen Wegweisung vom 16. Mai 2008 in keiner Weise entgegen und vermögen die Beurteilung der Untertauchensgefahr nicht zu beeinflussen. Letzteres gilt auch für das am 19. Mai 2008, nach der Anordnung der Ausschaffungshaft, vom Anwalt des Beschwerdeführers gestellte Gesuch um Erteilung einer Aufenthaltsbewilligung. Die Hängigkeit dieses Gesuchs für sich allein lässt insbesondere die Verhältnismässigkeit der Haft nicht dahinfallen (vgl. Urteil 2A.236/2005 vom 21. April 2005 E. 2.3); was die Absichten des Beschwerdeführers betrifft, seine über eine Niederlassungsbewilligung verfügende Freundin zu heiraten, sind diese schon darum unbeachtlich, weil die Freundin zurzeit mit einem anderen Mann verheiratet ist. Anzeichen dafür, dass es sonstwie an einer Haftvoraussetzung fehlen könnte, bestehen nicht; auch diesbezüglich kann auf den angefochtenen Entscheid verwiesen werden (Art. 109 Abs. 3 BGG).
2.2 Die offensichtlich unbegründete Beschwerde (Art. 109 Abs. 2 lit. a BGG) ist im vereinfachten Verfahren abzuweisen.
2.3 Dem Verfahrensausgang entsprechend wären die Gerichtskosten dem Beschwerdeführer aufzuerlegen. Es rechtfertigt sich indessen aufgrund der Umstände, auf die Erhebung von Kosten zu verzichten (Art. 66 Abs. 1 Satz 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird dem Beschwerdeführer, der Fremdenpolizei der Stadt Biel, dem Haftgericht III Bern-Mittelland, Haftrichterin 2, dem Bundesamt für Migration sowie (zur Information) dem Rechtsbeistand des Beschwerdeführers im kantonalen Verfahren schriftlich mitgeteilt.
Lausanne, 5. Juni 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Hungerbühler Feller