Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. 1.1 A._ ist Staatsangehöriger von Sri Lanka. Er reiste 1990 in die Schweiz ein und stellte ein Asylgesuch, welches am 14. Juli 2000 abgewiesen wurde. Das Bundesamt für Flüchtlinge verfügte zudem seine Wegweisung aus der Schweiz, wobei es gestützt auf den Bundesratsbeschluss vom 1. März 2000 betreffend die "Humanitäre Aktion 2000" an Stelle des Vollzugs der Wegweisung die vorläufige Aufnahme von A._ anordnete. In die vorläufige Aufnahme miteinbezogen wurden seine Ehefrau und die beiden Kinder des Ehepaars. Seit 25. Juli bzw. 26. November 2001 sind A._ bzw. seine Ehefrau und Kinder im Besitze einer Jahresaufenthaltsbewilligung.
Am 7. Juni 2001 sandte das Bundesamt für Flüchtlinge A._ den Entwurf einer Zwischenabrechnung über das Sicherheitskonto Nr. 12258679, worin die rückerstattungspflichtigen Fürsorgekosten für die Dauer des Asylverfahrens für ihn und seine Familie nach der Regelvermutung gemäss Art. 9 Abs. 3 der Asylverordnung 2 vom 11. August 1999 über Finanzierungsfragen (AsylV 2; SR 142.312) auf Fr. 25'200.-- festgesetzt waren. Nachdem hierzu keine Stellungnahme beim Bundesamt einging, erliess dieses am 20. Juli 2001 eine entsprechende Verfügung mit Rechtsmittelbelehrung. Die Verfügung wurde nicht angefochten und erwuchs in Rechtskraft.
1.2 Am 27. November 2001 teilte A._ dem Bundesamt für Flüchtlinge mit, dass er mit der Zwischenabrechnung nicht einverstanden sei, und ersuchte um nochmalige Überprüfung, was das Bundesamt mit Schreiben vom 12. Dezember 2001 ablehnte. Mit einem Wiedererwägungsgesuch vom 23. Mai 2002, in welchem er auf ein Schreiben der Gemeinde X._ vom 21. Januar 2002 (Bestätigung, dass keine Fürsorgeleistungen bezogen worden seien) hinwies, ersuchte A._ erneut um Überprüfung der Zwischenabrechnung und Erlass einer entsprechenden Verfügung. Das Bundesamt trat mit Verfügung vom 29. Mai 2002 auf das Wiedererwägungsgesuch nicht ein. Am 25. März 2004 wies das Eidgenössische Justiz- und Polizeidepartement die gegen diese Verfügung erhobene Beschwerde ab.
1.3 Mit Verwaltungsgerichtsbeschwerde vom 10. Mai 2004 beantragt A._ dem Bundesgericht, den Entscheid des Eidgenössischen Justiz- und Polizeidepartements vollumfänglich aufzuheben und das Bundesamt für Flüchtlinge anzuweisen, auf das Wiedererwägungsgesuch vom 23. Mai 2002 einzutreten.
Es ist weder ein Schriftenwechsel noch sind andere Instruktionsmassnahmen (wie Einholen der Akten) angeordnet worden. Das Urteil ergeht im vereinfachten Verfahren gemäss Art. 36a OG.
Es ist weder ein Schriftenwechsel noch sind andere Instruktionsmassnahmen (wie Einholen der Akten) angeordnet worden. Das Urteil ergeht im vereinfachten Verfahren gemäss Art. 36a OG.
2. 2.1 Streitig ist einzig, unter welchen Voraussetzungen eine Behörde verpflichtet ist, auf eine rechtskräftige Verfügung zurückzukommen. Die Vorinstanz hat sich mit dieser Frage vertieft auseinandergesetzt und ist insbesondere auf die von der Rechtsprechung hiezu entwickelten Grundsätze eingegangen. Sie kam zum Schluss, dass zwar neue erhebliche Tatsachen und Beweismittel Anlass für eine Wiedererwägung zu geben vermöchten; das Geltendmachen neuer Tatsachen oder Beweismittel sei jedoch aus Gründen der Rechtssicherheit an die gleich strengen Voraussetzungen geknüpft, die in der Praxis bei der Bejahung eines Revisionsgrundes in den gesetzlich geregelten Fällen gälten. Dies trifft zu (vgl. <ref-ruling> E. 6 S. 137 f.). Die Behörde ist zur Wiedererwägung nur dann verpflichtet, wenn der Betroffene sich auf neue Tatsachen oder Beweismittel beruft, die schon im ursprünglichen Verfahren geltend zu machen für ihn rechtlich oder tatsächlich unmöglich war bzw. kein Anlass bestand; Einwendungen, die er bei der ihm zumutbaren Sorgfalt bereits im ordentlichen (Rechtsmittel-)Verfahren hätte vorbringen können, sind im Wiedererwägungsverfahren regelmässig nicht zu hören (Art. 66 Abs. 3 VwVG analog). Die zuständige Behörde darf es insbesondere ablehnen, auf den ursprünglichen Entscheid zurückzukommen, wenn ein rechtzeitiges Handeln aus angeblich mangelnder Rechtskenntnis unterblieb.
2.2 Das Bundesgericht hat diese Grundsätze gerade in Bezug auf die Frage der Anfechtung von asylrechtlichen Zwischenabrechnungen für massgeblich erklärt (Urteil 2A.472/2002 vom 28. Januar 2003 E. 4). Es gibt keine Gründe, vorliegend anders zu entscheiden. Wohl macht der Beschwerdeführer geltend, er habe es wegen mangelnder Sprachkenntnisse verpasst, rechtzeitig Beschwerde zu erheben. Wie gut er die deutsche Sprache tatsächlich versteht, ist indessen unerheblich. Er kann nicht ernsthaft behaupten, ihm sei nach Erhalt der Verfügung des Bundesamtes für Flüchtlinge, in welcher Frankenbeträge aufgeführt sind, nicht klar geworden, dass ihm damit finanzielle Verpflichtungen auferlegt werden könnten. Es war ihm, gleich wie sonst einem Rechtsunkundigen, zuzumuten, in dieser Lage innert nützlicher Frist Rat zu suchen, wobei zusätzlich von Bedeutung ist, dass ihm wegen des Friststillstandes im Sommer praktisch zwei Monate für die Erhebung eines allfälligen Rechtsmittels zur Verfügung standen. Hinzu kommt, dass er auch nach seiner Darstellung spätestens im November 2001 tatsächlich die Tragweite der Verfügung und die Problematik der verpassten Rechtsmittelfrist erkannte; offenbar rechtskundig beraten, beschaffte er sich im Laufe des Monats Januar 2002 bei der Gemeinde X._ eine Bestätigung, dass er keine Fürsorgeleistungen bezogen habe, um dann nochmals mehrere Monate mit der Einreichung eines Wiedererwägungsgesuchs zuzuwarten.
Unter diesen Umständen war das Bundesamt für Flüchtlinge nicht gehalten, auf das Wiedererwägungsgesuch einzutreten, und der Beschwerdeführer hat in Kauf zu nehmen, dass ein möglicherweise materiell falscher Entscheid nicht korrigiert wird. Angesichts der zutreffenden Erwägungen im angefochtenen Entscheid (vorab E. 10 und 11), auf die der Beschwerdeführer ebenso verwiesen werden kann wie auf das erwähnte bundesgerichtliche Urteil 2A.472/2002 vom 28. Januar 2003, erübrigen sich weitere Ausführungen. Die Verwaltungsgerichtsbeschwerde erweist sich als offensichtlich unbegründet und ist abzuweisen.
2.3 Entsprechend dem Verfahrensausgang sind die bundesgerichtlichen Kosten dem Beschwerdeführer aufzuerlegen (Art. 156 in Verbindung mit Art. 153 und 153a OG).

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
im Verfahren nach Art. 36a OG:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdeführer auferlegt.
2. Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer und dem Eidgenössischen Justiz- und Polizeidepartement schriftlich mitgeteilt.
Lausanne, 26. Mai 2004
Im Namen der II. öffentlichrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: