Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. 1.1 Der aus Sri Lanka stammende X._ reiste 1990 in die Schweiz ein und stellte ein Asylgesuch. 1996 reisten seine Ehefrau und das 1989 geborene gemeinsame Kind in die Schweiz ein und stellten ebenfalls ein Asylgesuch. Die Asylgesuche wurden am 21. Juni 2000 abgewiesen, unter gleichzeitiger Anordnung der Wegweisung, wobei diese nicht vollzogen, sondern die vorläufige Aufnahme der Familie X._ angeordnet wurde. Am 24. Januar 2002 erhielten X._ sowie seine Frau und ihr Kind eine Jahresaufenthaltsbewilligung.
1.2 Am 2. Juli 2001 übermittelte das Bundesamt für Flüchtlinge X._ den Entwurf einer Zwischenabrechnung über sein Sicherheitskonto, worin es ihm für die während der Dauer des Asylverfahrens (d.h. bis zum Zeitpunkt des - negativen - Asylentscheids) entstandenen allgemeinen Fürsorgekosten für ihn und seine Familie pauschal Fr. 25'200.-- in Rechnung stellte. Diesen Kosten wurde ein Betrag von Fr. 24'179.20 als Sicherheiten aus dem Erwerbseinkommen gegenübergestellt, sodass ein Negativsaldo von Fr. 1'020.80 resultierte. Am 27. Juli 2001 nahm X._ zu dieser Abrechnung Stellung. Er wies darauf hin, dass sein Arbeitgeber Abzüge von seinem Lohn vorgenommen habe, ohne die Beträge zu Handen des Sicherheitskontos weiterzuleiten, wofür er Lohnbelege einsenden werde. Ohne Bezugnahme auf diese Stellungnahme erliess das Bundesamt am 17. August 2001 eine gegenüber dem Entwurf vom 2. Juli 2001 unveränderte Zwischenabrechnung in Verfügungsform mit der Rechtsmittelbelehrung, dass dagegen Beschwerde an das Eidgenössische Justiz- und Polizeidepartement erhoben werden könne. Die Verfügung erwuchs unangefochten in Rechtskraft.
Nachdem X._ und seiner Familie die Aufenthaltsbewilligung erteilt worden war, stellte ihm das Bundesamt am 14. August 2002 den Entwurf der Schlussabrechnung über das Sicherheitskonto zu, wobei als (Fürsorge-)Kosten des Asylverfahrens der Betrag von Fr. 25'200.-- gemäss der Zwischenabrechnung vom 17. August 2001 aufgeführt war; am 6. September 2002 korrigierte es die Abrechnung hinsichtlich der aus den Abzügen auf dem Erwerbseinkommen resultierenden Einzahlungen auf das Sicherheitskonto. X._ erklärte sich am 23. August bzw. 13. September 2002 mit dieser Abrechnung insbesondere hinsichtlich der Fürsorgekosten nicht einverstanden, da er diese vollständig zurückbezahlt habe. Am 25. September 2002 erliess das Bundesamt die Schlussabrechnung gemäss dem Entwurf vom 14. August/6. September 2002, wobei es hinsichtlich der Fürsorgekosten festhielt, dass auf deren Festsetzung wegen der Rechtskraft der Zwischenabrechung vom 17. August 2001 nur bei Vorliegen von Wiedererwägungs-/Revisionsgründen gemäss <ref-law> zurückgekommen werden könnte, solche aber nicht vorliegen würden.
Gegen diese Schlussabrechnung erhob X._ am 28. Oktober 2002 beim Eidgenössischen Justiz- und Polizeidepartement Beschwerde, welche er am 7. Januar 2003 ergänzte. Am 16. Januar 2003 eröffnete das Bundesamt im Rahmen des Schriftenwechsels betreffend die Verwaltungsbeschwerde eine korrigierte Schlussabrechnung, welche nunmehr einen Positivsaldo zugunsten von X._ im Betrag von 13'093.-- auswies; nicht zurück kam es auf die für die Dauer des Asylverfahrens angefallenen Fürsorgekosten von Fr. 25'200.--, wobei es aber neu berücksichtigte, dass Rückzahlungen an den Kanton von total Fr. 3'850.-- stattgefunden hatten.
Am 25. März 2004 wies das Eidgenössische Justiz- und Polizeidepartement (nachfolgend Departement) die Beschwerde ab, soweit es darauf eintrat.
1.3 Mit Verwaltungsgerichtsbeschwerde vom 28. April 2004 beantragt X._ dem Bundesgericht, den Entscheid des Departements aufzuheben und die Sache zu neuem Entscheid an dieses oder an das Bundesamt für Flüchtlinge zurückzuweisen; ferner sei festzustellen, dass die Rückforderung des Bundeamtes verjährt sei.
Das Departement beantragt Abweisung der Beschwerde.
Das Departement beantragt Abweisung der Beschwerde.
2. Streitig ist einzig, ob das Bundesamt für Flüchtlinge verpflichtet gewesen wäre, im Rahmen der Schlussabrechnung nochmals zu überprüfen, wie hoch die Fürsorgekosten für den Beschwerdeführer und seine Familie sind; diese wurden in der Zwischenabrechnung vom 17. August 2001 auf einen Betrag von Fr. 25'200.-- festgesetzt.
Wird ein Asylgesuch abgewiesen und der Gesuchsteller vorläufig aufgenommen, so bleibt nach Art. 16 Abs. 1 Satz 2 der Asylverordnung 2 vom 11. August 1999 über Finanzierungsfragen (AsylV 2; SR 142.312) das Sicherheitskonto bestehen, und das Bundesamt stellt der vorläufig aufgenommenen Person eine Zwischenabrechnung zu, in welcher der Saldo des Sicherheitskontos den bis dahin rückerstattungspflichtigen Kosten gegenübergestellt wird. Bei dieser Zwischenabrechnung handelt es sich um einen Teilendentscheid, mit welchem definitiv über die bisher angefallenen rückerstattungspflichtigen allgemeinen Fürsorgekosten (und dabei auch über die entsprechende Berechnungsart, pauschal oder real) entschieden wird und auf welchen nur bei Vorliegen von Revisionsgründen gemäss <ref-law> zurückgekommen werden kann (grundlegend dazu Urteile 2A.472/2002 und 2A.442/2002 vom 28. Januar 2003 je E. 3 und 4; bestätigt in den Urteilen 2A.395/2003 vom 9. September 2003 und 2A.272/2004 vom 26. Mai 2004).
Das Departement hält fest, dass die für den Beschwerdeführer und seine Familie während der Dauer des im Jahr 2000 abgeschlossenen Asylverfahrens angefallenen Fürsorgekosten gemäss der Regelvermutung von Art. 9 Abs. 3 lit. d AsylV 2 pauschal festgelegt worden seien; der Beschwerdeführer habe, als ihm der Entwurf zu einer entsprechenden Zwischenabrechnung vom 2. Juli 2001 vorgelegt worden sei, bloss geltend gemacht, der Arbeitgeber habe Lohnabzüge nicht auf sein Sicherheitskonto überwiesen, nicht aber die Höhe der Fürsorgekosten bestritten; die in Verfügungsform eröffnete Zwischenabrechnung vom 17. August 2001 habe er dann in Rechtskraft erwachsen lassen; was im Nachhinein, nach Eröffnung der Schlussabrechnung, gegen die Berechnung der Fürsorgekosten geltend gemacht werde, hätte bereits in einer Beschwerde gegen die Zwischenabrechnung vorgebracht werden können; Einwendungen, die bei zumutbarer Sorgfalt bereits im ordentlichen (Rechtsmittel-)Verfahren hätten vorgebracht werden können, seien im Revisions- bzw. Wiedererwägungsverfahren regelmässig nicht zu hören.
Diese Auffassung des Departements entspricht feststehender Rechtsprechung des Bundesgerichts (Urteile 2A.442/2002 und 472/2002 vom 28. Januar 2003 je E. 4). Was der Beschwerdeführer dagegen vorbringt, dringt nicht durch. Es ist nicht einzusehen, warum es ihm nicht hätte möglich sein sollen, die in der Zwischenabrechnung vom 17. August 2001 vorgenommene pauschale Festlegung der Fürsorgeaufwendungen mit Beschwerde anzufechten, dabei bereits im entsprechenden Rechtsmittelverfahren die Akteneinsicht zu erwirken, wie er dies im Rechtsmittelverfahren gegen die Schlussabrechnung tat, und anschliessend seine Einwendungen ergänzend zu substantiieren. Dies gilt insbesondere auch hinsichtlich des Vorwurfs, das Bundesamt habe in der Verfügung vom 17. August 2001 die Stellungnahme vom 27. Juli 2001 nicht berücksichtigt, wobei die Stellungnahme in Bezug auf den streitigen Pauschalbetrag ohnehin unerheblich war. Daraus, dass das Bundesamt nachträglich Korrekturen bezüglich der Überweisungen des Arbeitgebers sowie nachgewiesene tatsächliche Rückzahlungen in der Schlussabrechnung akzeptierte, kann der Beschwerdeführer schon darum nichts für seinen Standpunkt ableiten, weil diesbezüglich nicht auf einen bestimmten Zeitpunkt vorgenommene Pauschalabrechnungen im Spiel sind, auf deren Besonderheit das Instrument der Zwischenabrechnung (bzw. die daran anzuknüpfenden Folgen) spezifisch zugeschnitten ist. Was schliesslich die Behauptung betrifft, die Rückforderung sei verjährt, muss auch diese Einrede grundsätzlich bei Eröffnung der Zwischenabrechnung erhoben werden (Urteil 2A.395/2003 vom 9. September 2003 E. 2.2). Ohnehin betrifft der Pauschalabzug, wie das Departement in seiner dem Beschwerdeführer zur Kenntnis gebrachten Vernehmlassung (Ziff. 3) darlegt, die ganze Zeitspanne seit Eröffnung des Sicherheitskontos am 30. Juni 1992 bis zur vorläufigen Aufnahme des Asylbewerbers, und nicht nur allfällige im Jahr 1990 dem Beschwerdeführer konkret gewährte Fürsorgeleistungen; solange das Sicherheitskonto besteht, ruht im Übrigen gemäss <ref-law> die Verjährung für den Anspruch auf Rückerstattung von Fürsorgekosten.
Die Verwaltungsgerichtsbeschwerde erweist sich damit als offensichtlich unbegründet; sie ist, ergänzend unter Verweis auf die Erwägungen im angefochtenen Entscheid und in der Vernehmlassung des Departements, im vereinfachten Verfahren (Art. 36a OG) abzuweisen.
Dem Verfahrensausgang entsprechend sind die bundesgerichtlichen Kosten dem Beschwerdeführer aufzuerlegen (Art. 156 in Verbindung mit Art. 153 und 153a OG).

Demnach erkennt das Bundesgericht im Verfahren nach Art. 36a OG:
Demnach erkennt das Bundesgericht im Verfahren nach Art. 36a OG:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdeführer auferlegt.
2. Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer und dem Eidgenössischen Justiz- und Polizeidepartement schriftlich mitgeteilt.
Lausanne, 30. Juni 2004
Im Namen der II. öffentlichrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: