Erwägungen:
1. Der aus Georgien stammende X._, geb. 1961, stellte am 9. Oktober 2000 ein Asylgesuch. Dieses wurde am 23. Mai 2001 abgewiesen; die Verfügung, mit welcher zugleich die Wegweisung angeordnet wurde, erwuchs in Rechtskraft.
Am 12. August 2004 wies das Bundesamt für Flüchtlinge (heute: Bundesamt für Migration) ein erstes Gesuch von X._ um Anerkennung der Staatenlosigkeit im Sinne des Übereinkommens vom 28. September 1954 über die Rechtsstellung der Staatenlosen (Staatenlosen-Übereinkommen; SR 0.142.40) ab. X._ focht die Verfügung des Bundesamtes beim damals zuständigen Justiz- und Polizeidepartement (EJPD) an. Die Sektionschefin des Beschwerdedienstes EJPD, Y._, lehnte sein Begehren um unentgeltliche Rechtspflege wegen Aussichtslosigkeit der Beschwerde ab; eine gegen die entsprechende Zwischenverfügung vom 3. März 2005 erhobene Verwaltungsgerichtsbeschwerde wies das Bundesgericht mit Urteil 2A.153/2005 ab. X._ zog in der Folge seine Beschwerde beim EJPD zurück, welches das Verfahren am 6. April 2005 als gegenstandslos abschrieb.
Mit Verfügung vom 13. November 2007 wies das Bundesamt für Migration ein neues Gesuch von X._ um Anerkennung der Staatenlosigkeit ab. Dieser gelangte dagegen am 10. Dezember 2007 mit Beschwerde an das Bundesverwaltungsgericht. Mit Zwischenverfügung vom 10. Januar 2008 lehnte die Instruktionsrichterin der zuständigen Abteilung III des Bundesverwaltungsgerichts, Y._, sein Gesuch um unentgeltliche Rechtspflege wegen Aussichtslosigkeit der Beschwerde ab und forderte ihn auf, bis zum 11. Februar 2008 einen Kostenvorschuss in der Höhe von Fr. 800.-- zu leisten.
Unter Bezugnahme auf die verfahrensleitende Verfügung vom 10. Januar 2008 machte X._ am 28. Januar 2008 bei der Vorsteherin des EJPD geltend, die Instruktionsrichterin sei befangen. Die Eingabe wurde an das Bundesverwaltungsgericht weitergeleitet. Mit Zwischenentscheid vom 29. Februar 2008 wies die Abteilung III des Bundesverwaltungsgerichts in Dreierbesetzung, unter Ausschluss von Y._, das Ausstandsbegehren ab. Diesen Zwischenentscheid hat X._ am 31. März 2008 beim Bundesgericht mit Verwaltungsgerichtsbeschwerde (richtig: Beschwerde in öffentlich-rechtlichen Angelegenheiten) angefochten. Im Wesentlichen beantragt er, dem Ausstandsbegehren vom 28. Januar 2008 zu entsprechen und die Beschwerdeingabe vom 10. Dezember 2007 betreffend Staatenlosigkeit aufs Neue zu beurteilen.
Es ist weder ein Schriftenwechsel noch sind andere Instruktionsmassnahmen angeordnet worden.
2. 2.1 Im Ausstandsbegehren vom 28. Januar 2008 warf der Beschwerdeführer der Instruktionsrichterin vor, sie habe in der Zwischenverfügung vom 10. Januar 2008 eingereichte Beweismittel ausser Acht gelassen, was nicht erstaunlich sei, habe sie doch auch das frühere im gleichen Zusammenhang beim Beschwerdedienst EJPD geführte Rechtsmittelverfahren behandelt, weshalb nicht zu erwarten sei, dass sie ihren früheren Entscheid aufheben würde. Das Bundesverwaltungsgericht hat das Ausstandsbegehren anhand der Bestimmungen des Bundesgesetzes vom 17. Juni 2005 (Bundesgerichtsgesetz, BGG [SR 173.110]), die gemäss Art. 38 des Bundesgesetzes vom 17. Juni 2005 über das Bundesverwaltungsgericht (Verwaltungsgerichtsgesetz, VGG [SR 173.32]) im Verfahren vor dem Bundesverwaltungsgericht sinngemäss gelten, beurteilt. Es hat richtig erkannt, dass aufgrund der Vorbringen des Beschwerdeführers höchstens die in Art. 34 Abs. 1 lit. b und lit. e BGG genannten Ausstandsgründe in Betracht fallen könnten.
2.2 Gemäss Art. 34 Abs. 1 lit. b BGG treten Gerichtspersonen in den Ausstand, wenn sie in einer anderen Stellung, insbesondere als Mitglied einer Behörde, als Rechtsberater, als sachverständige Person oder als Zeuge in der gleichen Sache tätig waren. Die Vorinstanz weist vorab auf Art. 34 Abs. 2 BGG hin, wonach die Mitwirkung in einem früheren Verfahren der Entscheidinstanz für sich allein keinen Ausstandsgrund bildet. Sie legt dann weiter dar, dass das Bundesverwaltungsgericht (unter anderem) an die Stelle der Beschwerdedienste der Departemente getreten ist und keine funktionell oder organisatorisch andere Justizaufgabe als jene wahrnimmt, weshalb Y._ als Sektionschefin des Beschwerdedienstes EJPD in der Sache des Beschwerdeführers nicht im Sinne von Art. 34 Abs. 1 lit. b BGG "in einer anderen Stellung" tätig geworden sei als nunmehr in ihrer Funktion als Instruktionsrichterin des Bundesverwaltungsgerichts. Die Erwägungen der Vorinstanz zu Art. 34 Abs. 1 lit. b BGG treffen in jeder Hinsicht zu, und es kann vollumfänglich darauf verwiesen werden (vgl. Art. 109 Abs. 3 BGG). Dieser gesetzliche Ausstandsgrund ist offensichtlich nicht erfüllt.
2.3 Gemäss dem Auffangstatbestand von Art. 34 Abs. 1 lit. e BGG treten Gerichtspersonen in den Ausstand, wenn sie aus anderen Gründen, insbesondere wegen Freundschaft oder persönlicher Feindschaft mit einer Partei oder ihrem Vertreter, befangen sein könnten. Die Vorinstanz hat eine Befangenheit von Y._ im Sinne dieser Bestimmung zu Recht verneint. Dass im Rahmen der Behandlung eines Gesuchs um unentgeltliche Rechtspflege eine Einschätzung der Prozessaussichten vorgenommen wird, erlaubt für sich allein nie die Annahme, die Gerichtsperson sei befangen; es müssten weitere konkrete Anhaltspunkte hinzukommen (BGE 131 I 113 E. 3.7. S. 120 ff.). Solche fehlen vorliegend. Es bleibt unerfindlich, inwiefern aus der Art der Behandlung des Gesuchs um unentgeltliche Rechtspflege auf die Befangenheit der Instruktionsrichterin geschlossen werden könnte. Vielmehr lassen ihre Erwägungen in der Zwischenverfügung vom 10. Januar 2008 erkennen, dass sie die Vorbringen des Beschwerdeführers und insbesondere die von diesem als wichtig erachtete Bescheinigung des Archivs der Agentur des Bürgerregisters Georgiens in Tbilissi vom 10. August 2006 in einer dem Verfahrensstadium angemessenen Weise berücksichtigt hat. Dass sie diesem Dokument bei einer vorläufigen Beurteilung keine weiterreichende Bedeutung als dem schon im früheren Verfahren beigebrachten und erwähnten (s. Urteil 2A.153/2005 E. 2.1) Dokument des georgischen Ministeriums für Justiz vom 31. August 2004 beimessen wollte, ist nachvollziehbar und erweckt nicht den Anschein der Befangenheit. Die Erwägungen der Vorinstanz zu Art. 34 Abs. 1 lit. e BGG, auf die vollumfänglich verwiesen werden kann, treffen in jeder Hinsicht zu.
2.4 Nach dem Gesagten erweist sich die Beschwerde als offensichtlich unbegründet (Art. 109 Abs. 2 lit. a BGG); sie ist im vereinfachten Verfahren gemäss Art. 109 BGG abzuweisen.
2.5 Der Beschwerdeführer hat darum ersucht, von der Auflage von Verfahrenskosten abzusehen. Dem Begehren kann wegen Aussichtslosigkeit der Beschwerde nicht entsprochen werden (Art. 64 BGG).
Damit sind die Gerichtskosten (Art. 65 BGG) dem Verfahrensausgang entsprechend dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 Satz 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um Kostenbefreiung wird abgewiesen.
3. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, Bundesverwaltungsrichterin Y._, dem Bundesamt für Migration und dem Bundesverwaltungsgericht, Abteilung III, schriftlich mitgeteilt.
Lausanne, 7. April 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Feller