Sachverhalt: Sachverhalt: A. X._ erhob am 6. Mai 2003 bei der Oberzolldirektion Beschwerde gegen eine Verfügung der Zollkreisdirektion Basel vom 31. März 2003, mit welcher ihm ein Zollnachbezug von Fr. 4'533.65 in Rechnung gestellt worden war. X._ ersuchte dabei gleichzeitig um unentgeltliche Rechtspflege. Mit Schreiben vom 7. August 2003 lehnte die Oberzolldirektion diesen letzteren Antrag ab und setzte X._ zugleich Frist bis zum 25. August 2003 zur Leistung eines Kostenvorschusses von Fr. 560.-- mit dem Hinweis, dass die Beschwerde bis zu diesem Termin auch kostenlos zurückgezogen werden könne; bei Nichtleistung des Kostenvorschusses werde auf die Beschwerde nicht eingetreten. Das Schreiben enthielt zudem Ausführungen zur Rechtslage und zum Verfahrensablauf; X._ wurde des weiteren darauf aufmerksam gemacht, dass sein (eventualiter) gestelltes Gesuch um Erlass der Zollforderung verfrüht sei bzw. erst nach rechtskräftiger Festlegung des Zollbetrages behandelt werden könne und bis zu diesem Zeitpunkt sistiert bleibe. Mit Schreiben vom 7. August 2003 lehnte die Oberzolldirektion diesen letzteren Antrag ab und setzte X._ zugleich Frist bis zum 25. August 2003 zur Leistung eines Kostenvorschusses von Fr. 560.-- mit dem Hinweis, dass die Beschwerde bis zu diesem Termin auch kostenlos zurückgezogen werden könne; bei Nichtleistung des Kostenvorschusses werde auf die Beschwerde nicht eingetreten. Das Schreiben enthielt zudem Ausführungen zur Rechtslage und zum Verfahrensablauf; X._ wurde des weiteren darauf aufmerksam gemacht, dass sein (eventualiter) gestelltes Gesuch um Erlass der Zollforderung verfrüht sei bzw. erst nach rechtskräftiger Festlegung des Zollbetrages behandelt werden könne und bis zu diesem Zeitpunkt sistiert bleibe. B. Das Schreiben der Oberzolldirektion vom 7. August 2003 wurde, da X._ in den Ferien weilte, während der Abholfrist bis zum 15. August 2003 nicht abgeholt und gelangte - gemäss den Feststellungen im angefochtenen Entscheid der Zollrekurskommission (vgl. nachstehend "C.-" und E. 2.4) noch vor Ablauf der gesetzten Frist für die Leistung des Kostenvorschusses - mit dem Vermerk "retour-nicht abgeholt" an die Oberzolldirektion zurück. Diese betrachtete die nicht abgeholte Kostenvorschussverfügung als zugestellt und erliess am 11. September 2003 einen Nichteintretensentscheid, unter Verzicht auf Erhebung von Verfahrenskosten. B. Das Schreiben der Oberzolldirektion vom 7. August 2003 wurde, da X._ in den Ferien weilte, während der Abholfrist bis zum 15. August 2003 nicht abgeholt und gelangte - gemäss den Feststellungen im angefochtenen Entscheid der Zollrekurskommission (vgl. nachstehend "C.-" und E. 2.4) noch vor Ablauf der gesetzten Frist für die Leistung des Kostenvorschusses - mit dem Vermerk "retour-nicht abgeholt" an die Oberzolldirektion zurück. Diese betrachtete die nicht abgeholte Kostenvorschussverfügung als zugestellt und erliess am 11. September 2003 einen Nichteintretensentscheid, unter Verzicht auf Erhebung von Verfahrenskosten. C. Die von X._ daraufhin angerufene Eidgenössische Zollrekurskommission hob mit Entscheid vom 23. Februar 2004 den Entscheid der Oberzolldirektion in Gutheissung des Rekurses auf. Sie erwog im Wesentlichen, die Verwaltung habe gewusst, dass X._ das Schreiben vom 7. August 2003 nicht erhalten habe, weshalb sie nach dem Grundsatz von Treu und Glauben sowie nach dem Gebot der Fairness im Prozess gehalten gewesen sei, den Rekurrenten auf die noch laufende Frist aufmerksam zu machen; dies umso mehr, als der Rekurrent zu jenem Zeitpunkt - drei Monate nach Einreichung der Beschwerde und während den offiziellen Gerichtsferien - nicht mehr ohne weiteres mit einem solchen Schreiben der Verwaltung habe rechnen müssen. C. Die von X._ daraufhin angerufene Eidgenössische Zollrekurskommission hob mit Entscheid vom 23. Februar 2004 den Entscheid der Oberzolldirektion in Gutheissung des Rekurses auf. Sie erwog im Wesentlichen, die Verwaltung habe gewusst, dass X._ das Schreiben vom 7. August 2003 nicht erhalten habe, weshalb sie nach dem Grundsatz von Treu und Glauben sowie nach dem Gebot der Fairness im Prozess gehalten gewesen sei, den Rekurrenten auf die noch laufende Frist aufmerksam zu machen; dies umso mehr, als der Rekurrent zu jenem Zeitpunkt - drei Monate nach Einreichung der Beschwerde und während den offiziellen Gerichtsferien - nicht mehr ohne weiteres mit einem solchen Schreiben der Verwaltung habe rechnen müssen. D. Mit Eingabe vom 25. März 2004 führt die Oberzolldirektion Verwaltungsgerichtsbeschwerde beim Bundesgericht mit dem Antrag, den Entscheid der Eidgenössischen Zollrekurskommission vom 23. Februar 2004 aufzuheben. X._ beantragt, die Beschwerde abzuweisen. Die Eidgenössische Zollrekurskommission hat auf Vernehmlassung verzichtet.