Sachverhalt:
A. Die X._ AG produziert glasfaserverstärkte Kunststofferzeugnisse, insbesondere Plattenelemente für Dächer und Wände. Zu diesem Zweck verwendet sie auch Lösungsmittel mit flüchtigen organischen Verbindungen ("volatile organic compounds"; VOC). Diese VOC unterliegen einer Lenkungsabgabe des Bundes. Seit 2001 verfügt die X._ AG über eine Bewilligung der Oberzolldirektion (OZD) zum Bezug von vorläufig abgabebefreiten VOC im Rahmen des sog. Verpflichtungsverfahrens. Dieses Verfahren auferlegt dem Bewilligungsinhaber, eine Bilanz über die Verwendung der VOC zu führen und diese Aufstellung spätestens sechs Monate nach Abschluss des Geschäftsjahres einzureichen.
Die VOC-Bilanz für das Geschäftsjahr 2007 konnte von der X._ AG indes nicht rechtzeitig abgeliefert werden: Sie ging der für die Vorprüfung zuständigen Amtsstelle der Stadt A._ erst am 14. Juli 2008 zu. Gemäss eigenen Angaben der X._ AG erfolgte die Postaufgabe am 11. Juli 2008. Die bis zum 30. Juni 2008 laufende Einsendefrist wurde mithin um 11 bzw. um 14 Tage verpasst. Die X._ AG begründete die Verspätung mit dem Vorliegen einer aussergewöhnlichen Personalfluktuation.
B. Aufgrund der verspäteten Einreichung der VOC-Bilanz verfügte die OZD am 16. Juli 2008 die hierfür vorgesehene Sanktion, d.h. die Sistierung der Bewilligung zum Bezug von vorläufig abgabebefreiten VOC für eine Dauer von drei Jahren. Dies bedeutet, dass die X._ AG die VOC-Abgabe im Moment des Imports oder der Herstellung dieser Stoffe bezahlen muss und erst zu einem späteren Zeitpunkt gegebenenfalls eine Rückerstattung erhält.
Hiergegen beschwerte sich die X._ AG mit Erfolg beim Bundesverwaltungsgericht: In seinem Urteil vom 19. Juli 2010 kam dieses zum Schluss, die von der OZD angeordnete Massnahme sei unverhältnismässig und es hob die Verfügung vom 16. Juli 2008 auf.
C. Mit Eingabe vom 2. September 2010 führt die OZD Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Sie beantragt die Aufhebung des vorinstanzlichen Urteils und die Bestätigung ihres Entscheids vom 22. März 2006 (recte: 16. Juli 2008).
Während das Bundesverwaltungsgericht auf eine Vernehmlassung verzichtet, schliesst die X._ AG auf Abweisung der Beschwerde.

Erwägungen:
1. Angefochten wird ein Endentscheid des Bundesverwaltungsgerichts in einer Angelegenheit des öffentlichen Rechts, die unter keinen Ausschlussgrund gemäss <ref-law> fällt und daher mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht weitergezogen werden kann (Art. 82 lit. a. i.V.m. Art. 86 Abs. 1 lit. a und Art. 90 BGG). Die Eidgenössische Zollverwaltung ist zur Beschwerde berechtigt (<ref-law> in Verbindung mit Art. 5 und Art. 19 der Organisationsverordnung vom 11. Dezember 2000 für das Eidgenössische Finanzdepartement [SR 172.215.1]). Sie wird im bundesgerichtlichen Verfahren durch die Oberzolldirektion vertreten (Art. 116 Abs. 2 des Zollgesetzes vom 18. März 2005 [ZG; SR 631.0] i.V.m. Art. 3 der Verordnung vom 12. November 1997 über die Lenkungsabgabe auf flüchtigen organischen Verbindungen [VOCV; SR 814.018]). Auf die im Übrigen form- und fristgerecht eingereichte Beschwerde ist daher einzutreten.
2. In ihrer Eingabe verweist die OZD auf <ref-law>: Gemäss dieser Bestimmung wird die Bewilligung zum Bezug von vorläufig abgabebefreiten VOC für drei Jahre sistiert, wenn die VOC-Bilanz nicht vollständig oder nicht fristgerecht eingereicht wird. Die OZD betont, dass sie an diese Verordnungsbestimmung gebunden sei; es verbleibe ihr bei der Anwendung keinerlei Ermessensspielraum.
Im Übrigen könne die Regelung von <ref-law> auch nicht als unverhältnismässig bezeichnet werden. Im Gegenteil verhalte es sich sogar so, dass diese Bestimmung am 2. April 2008 eingefügt worden sei, um schwerwiegendere Folgen für die betroffenen Firmen zu vermeiden: Bis zu diesem Zeitpunkt sei als Sanktion für eine verspätete Bilanzeinreichung vorgesehen gewesen, dass die Abgabe samt Verzugszins auf sämtlichen vorläufig befreiten VOC nachgezahlt werden muss.
Schliesslich bringt die OZD vor, dass sie als verantwortliche Fiskalbehörde zahlreiche Erlasse vollziehe. Dabei seien verbindliche gesetzliche Fristen im Sinne der Rechtssicherheit und Rechtsgleichheit von entscheidender Bedeutung. Eine Aufweichung derselben würde eine unzumutbare Erschwerung der Abläufe nach sich ziehen.
3. Die Ausführungen der OZD vermögen grundsätzlich zu überzeugen: Entgegen der Auffassung der Vorinstanz besteht in Art. 35c Abs. 3 des Bundesgesetzes vom 7. Oktober 1983 über den Umweltschutz (Umweltschutzgesetz, USG; SR 814.01) eine genügende gesetzliche Grundlage für die in der Verordnung vorgesehene Sistierung: Dass der Entzug einer Bewilligung, soweit er nicht wegen Wegfalls der Bewilligungsvoraussetzungen erfolgt, einer formellgesetzlichen Grundlage bedarf (Urteil 2A.705/2006 vom 24. April 2007 E. 3.7), kann dann nicht gelten, wenn die Bewilligung im Sinne einer Erleichterung von den gesetzlichen Vorschriften selber erst auf Verordnungsstufe eingeführt wurde. Die in <ref-law> vorgesehene Sistierung der Bewilligung für den Bezug von vorläufig abgabebefreiten VOC führt alsdann nicht dazu, dass die Beschwerdegegnerin eine höhere Abgabelast zu tragen hätte. Vielmehr hat der temporäre Ausschluss aus dem Verpflichtungsverfahren zur Folge, dass das reguläre Abgabeverfahren zur Anwendung gelangt. Dieses sieht vor, dass die Abgabe zunächst von der Pflichtigen erhoben wird und danach gegebenenfalls eine Rückerstattung erfolgt (vgl. <ref-law>). Der Nachteil der Beschwerdegegnerin durch diese "Vorleistungspflicht" beschränkt sich mithin auf eine (vorübergehende) Schmälerung der Liquidität, einen allfälligen Zinsverlust sowie auf einen erhöhten administrativen Aufwand. Dass diese zeitlich befristete Rechtsfolge a priori unverhältnismässig wäre, ist nicht einzusehen. Dies umso weniger, als es sich hierbei - wie aufgezeigt - lediglich um den Verlust einer zuvor eingeräumten Erleichterung handelt. Sodann erscheint es nachvollziehbar und berechtigt, die Konsequenzen einer Pflichtverletzung aus Praktikabilitätsgründen zu schematisieren. <ref-law> stellt damit an sich eine Regelung dar, die mit dem Verhältnismässigkeitsprinzip von <ref-law> zu vereinbaren ist und von der nicht leichthin abgewichen werden darf.
Ein Verstoss gegen das Verhältnismässigkeitsprinzip kann aber immerhin dann vorliegen, wenn die sanktionsauslösende Pflichtverletzung der Abgabepflichtigen bei Betrachtung der Gesamtumstände als eigentliche Bagatelle erscheint, welche auf unerwarteten, ungünstigen Umständen und nicht bloss auf Nachlässigkeit beruhte und den ordnungsgemässen Ablauf des Verfahrens nicht beeinträchtigte. Eine solche Konstellation durfte die Vorinstanz hier annehmen: Wie das Bundesverwaltungsgericht nachvollziehbar festgehalten hat, ist die rund zweiwöchige Verspätung bei der Einreichung der VOC-Bilanz als vergleichsweise geringfügig zu bezeichnen. Hinzu kommt, dass diese Unterlagen ohnehin einem Vorprüfungsverfahren durch die zuständige Amtsstelle der Stadt A._ unterliegen; die Gesamtdauer des Verfahrens hängt somit nicht ausschliesslich von der Pflichtigen, sondern insbesondere auch vom Zeitbedarf der prüfenden Behörde ab und es verhält sich nicht so, dass der OZD an einem bestimmten Stichtag alle massgeblichen Informationen zur Verfügung stehen würden. Unbestritten ist ausserdem, dass die Beschwerdegegnerin die VOC-Bilanzen in den früheren Abrechnungsperioden (2001 bis und mit 2006) stets pünktlich eingereicht hat und ebenfalls die Abrechnung für das Jahr 2008 wieder fristgerecht produziert hat. Auch inhaltlich gaben die VOC-Bilanzen der Beschwerdegegnerin offenbar zu keinen Klagen Anlass: Insbesondere die verspätet eingereichte Aufstellung des Jahres 2007 wurde im Rahmen der Vorprüfung für grundsätzlich richtig und plausibel befunden. Bei dieser Sachlage ist es nicht zu beanstanden, wenn das Bundesverwaltungsgericht die im Streit stehende Sanktion im vorliegenden Einzelfall als Verstoss gegen das in <ref-law> statuierte Verhältnismässigkeitsprinzip wertete.
4. Nach dem Ausgeführten ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten als unbegründet abzuweisen. Der OZD, welche in ihrem amtlichen Wirkungskreis Beschwerde führte, sind keine Gerichtskosten aufzuerlegen (<ref-law>). Indes hat die OZD der Beschwerdegegnerin für das bundesgerichtliche Verfahren eine Parteientschädigung zu entrichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Die Oberzolldirektion hat der Beschwerdegegnerin für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 1'500.-- zu entrichten.
4. Dieses Urteil wird der Oberzolldirektion, Sektion chemische Erzeugnisse und VOC, der Beschwerdegegnerin sowie dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 5. Januar 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Zähndler