Sachverhalt: Sachverhalt: A. Die X._ betreibt eine Anlage zum Schäumen von expandierendem Polystyrol (EPS). Am 24. Februar 2002 reichte sie bei der Baudirektion des Kantons Zug, Amt für Umweltschutz, die Bilanz 2001 über flüchtige organische Verbindungen (VOC) ein und ersuchte um Befreiung der EPS-Produktionsanlage von der VOC-Abgabe für das Jahr 2001. Nach erfolgter Vorprüfung überwies das Amt für Umweltschutz die Sache an die zuständige Eidgenössische Oberzolldirektion und beantragte, das Gesuch sei abzuweisen. Nach durchgeführtem Vernehmlassungsverfahren lehnte diese den Befreiungsantrag ab. Die dagegen erhobene Einsprache wies die Eidgenössische Oberzolldirektion am 7. Februar 2003 ab. Dabei stützte sie sich im Wesentlichen auf die Stellungnahme des Amtes für Umweltschutz vom 20. Juni 2002. Dieses hatte darin ausgeführt, dass erstens die Pentanemissionen nicht nach den Anforderungen von Art. 6 der Luftreinhalte-Verordnung vom 16. Dezember 1985 (LRV; SR 814.318.142.1) erfasst und abgeleitet würden und insbesondere eine selbständige Unterdrucksteuerung fehle. Zweitens sei der im "Merkblatt zur Abgabebefreiung bei Massnahmen zur Verminderung der Emissionen" geforderte Erfassungsgrad für Anlagen zum Schäumen von expandierendem Polystyrol (> 70 % insgesamt, ohne Lagerung der Endprodukte) um den Faktor 2 zu tief. Drittens habe die X._ weder die geforderten Verbesserungen zur Erfassung der VOC-Emissionen im Sinne der Vollzugsempfehlung "VOC-Sanierung EPS-verarbeitender Betriebe" realisiert noch ein konkretes Sanierungskonzept vorgelegt. A. Die X._ betreibt eine Anlage zum Schäumen von expandierendem Polystyrol (EPS). Am 24. Februar 2002 reichte sie bei der Baudirektion des Kantons Zug, Amt für Umweltschutz, die Bilanz 2001 über flüchtige organische Verbindungen (VOC) ein und ersuchte um Befreiung der EPS-Produktionsanlage von der VOC-Abgabe für das Jahr 2001. Nach erfolgter Vorprüfung überwies das Amt für Umweltschutz die Sache an die zuständige Eidgenössische Oberzolldirektion und beantragte, das Gesuch sei abzuweisen. Nach durchgeführtem Vernehmlassungsverfahren lehnte diese den Befreiungsantrag ab. Die dagegen erhobene Einsprache wies die Eidgenössische Oberzolldirektion am 7. Februar 2003 ab. Dabei stützte sie sich im Wesentlichen auf die Stellungnahme des Amtes für Umweltschutz vom 20. Juni 2002. Dieses hatte darin ausgeführt, dass erstens die Pentanemissionen nicht nach den Anforderungen von Art. 6 der Luftreinhalte-Verordnung vom 16. Dezember 1985 (LRV; SR 814.318.142.1) erfasst und abgeleitet würden und insbesondere eine selbständige Unterdrucksteuerung fehle. Zweitens sei der im "Merkblatt zur Abgabebefreiung bei Massnahmen zur Verminderung der Emissionen" geforderte Erfassungsgrad für Anlagen zum Schäumen von expandierendem Polystyrol (> 70 % insgesamt, ohne Lagerung der Endprodukte) um den Faktor 2 zu tief. Drittens habe die X._ weder die geforderten Verbesserungen zur Erfassung der VOC-Emissionen im Sinne der Vollzugsempfehlung "VOC-Sanierung EPS-verarbeitender Betriebe" realisiert noch ein konkretes Sanierungskonzept vorgelegt. B. Die X._ reichte gegen den Entscheid der Eidgenössischen Oberzolldirektion Beschwerde beim Eidgenössischen Finanzdepartement ein, welche das Rechtsmittel mit Entscheid vom 22. März 2004 abwies. B. Die X._ reichte gegen den Entscheid der Eidgenössischen Oberzolldirektion Beschwerde beim Eidgenössischen Finanzdepartement ein, welche das Rechtsmittel mit Entscheid vom 22. März 2004 abwies. C. Gegen den Entscheid des Eidgenössischen Finanzdepartements führt die X._ Verwaltungsgerichtsbeschwerde an das Bundesgericht. Sie beantragt, es sei der angefochtene Entscheid aufzuheben, die Beschwerdeführerin für das Jahr 2001 vollständig von der VOC-Lenkungsabgabe zu befreien und die beantragte Rückerstattung der bezahlten Lenkungsabgaben gutzuheissen. Eventualiter sei die Sache zur neuen Beurteilung an die Vorinstanzen zurückzuweisen. Das Eidgenössische Finanzdepartement schliesst auf Abweisung der Beschwerde. Von der Eidgenössischen Oberzolldirektion ist keine Vernehmlassung eingegangen. Am 8. Juli 2004 hat die X._ unaufgefordert eine Stellungnahme zur Vernehmlassung des Eidgenössischen Finanzdepartements eingereicht.