Sachverhalt:
A. Die X._ AG hat seit längerem im Rahmen des entsprechenden Zollkontingents Hartweizen zollbegünstigt in die Schweiz eingeführt und verarbeitet. Am 4. Juli 2001 hat sie eine Verwendungsverpflichtung der Oberzolldirektion unterzeichnet, wonach sie Hartweizen zur menschlichen Ernährung zollbegünstigt in die Schweiz einführen kann, sofern daraus überwiegend Mahlprodukte hergestellt werden, die als Kochgriess (Griess = Mahlprodukt in grober Körnung) oder als Dunst (weiter zerkleinerter und gereinigter feiner Griess) zur Teigwarenherstellung verwendet werden.
Nach einer Betriebsprüfung nahm die Oberzolldirektion am 22. August 2006 eine Nachverzollung (zum Normalansatz von Fr. 74.--/q) von insgesamt 635'588 kg zollbegünstigt (zum Ansatz von Fr. 1.--/q) eingeführtem Hartweizen vor, weil dieser vom 3. Quartal 2002 bis und mit 4. Quartal 2004 nicht der Verwendungsverpflichtung entsprechend, sondern zur Herstellung von Backwaren verwendet worden sei. Die geforderte Zolldifferenz betrug einschliesslich Mehrwertsteuer Fr. 475'114.75. Eine gegen diese Verfügung gerichtete Beschwerde der X._ AG vom 22. September 2006 wurde am 10. September 2009 vom Bundesverwaltungsgericht abgewiesen, soweit darauf eingetreten wurde.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die X._ AG dem Bundesgericht, das Urteil des Bundesverwaltungsgerichts und die Verfügung der Oberzolldirektion aufzuheben.
Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet.
Die Oberzolldirektion beantragt die Abweisung der Beschwerde.

Erwägungen:
1. Soweit sich die Beschwerde auch gegen die Verfügung der Oberzolldirektion richtet, ist diese durch das angefochtene Urteil ersetzt worden (Devolutiveffekt), weshalb insoweit auf die Beschwerde nicht einzutreten ist (vgl. <ref-ruling> E. 1).
2. 2.1 Am 1. Mai 2007 sind das Zollgesetz vom 18. März 2005 (ZG; SR 631.0) sowie die dazugehörige Verordnung vom 1. November 2006 (ZV; SR 631.01) in Kraft getreten. Die vorliegend in Frage stehenden Einfuhren erfolgten in den Jahren 2002 bis 2004. Die Vorinstanz hat daher zu Recht noch die Vorschriften des Zollgesetzes vom 1. Oktober 1925 (aZG, BS 6 465) und der Verordnung vom 10. Juli 1926 zum alten Zollgesetz (aZV, BS 6 514) angewandt (<ref-law>).
2.2 Gemäss Art. 18 Abs. 1 aZG sind zollpflichtige Waren, die je nach ihrer Verwendung verschiedenen Ansätzen unterliegen, auf Ansuchen gegen Verwendungsnachweis zu den für die entsprechende Verwendungsart festgesetzten niedrigeren Ansätzen abzufertigen, soweit der Zolltarif nicht gänzliche Befreiung vorsieht. An Stelle des Verwendungsnachweises kann unter Vorbehalt jederzeitiger Nachprüfung eine vom Verbraucher der Ware auszustellende Verwendungsverpflichtung (Revers) angenommen und die Abfertigung zum niedrigeren Ansatz bewilligt werden (Art. 18 Abs. 4 aZG und Art. 40 Abs. 4 aZV). Nach Art. 40 Abs. 4 aZV kann auch von Händlern eine entsprechende Verpflichtung angenommen werden, wenn niedrig verzollte Waren vorübergehend in deren Verfügungsmacht gelangen.
2.3 Für die zollbegünstigte Einfuhr von Hartweizen galt bis zum 30. Juni 2001 das Getreidegesetz vom 20. März 1959 (AS 1959 995/1017). Mit Aufhebung des Getreidegesetzes auf den 1. Juli 2001 (AS 2001 1539) fügte der Bundesrat in die gestützt auf Art. 18 Abs. 2 aZG erlassene Einfuhrverordnung Getreide und Futtermittel vom 7. Dezember 1998 (AS 1998 3211) eine entsprechende Regelung für das Zollkontingent Hartweizen (Art. 2a) und das Zollkontingent Brotgetreide (Art. 2b) sowie eine Nachzahlungspflicht (Art. 4 Abs. 1bis und 1ter) ein (AS 2001 326). Gemäss Art. 2a Abs. 3 der Einfuhrverordnung müssen aus dem zum Zollkontingentsansatz eingeführten Hartweizen im Durchschnitt eines Kalenderquartals mindestens zu 64 Prozent Mahlprodukte hergestellt werden. Diese Mahlprodukte müssen als Kochgriess zur menschlichen Ernährung oder als Dunst zur Herstellung von Teigwaren verwendet werden; der Dunst muss im Durchschnitt eines Kalenderquartals zu mindestens 96 Prozent zur Teigwarenherstellung verwendet werden. Mit Aufhebung der Einfuhrverordnung auf den 1. Januar 2008 wurde diese Bestimmung als Art. 22d Abs. 3 in die Agrareinfuhrverordnung (SR 916.01) übernommen (AS 2007 6225).
2.4 Die Vorinstanz ist bei ihrer Auslegung der angeführten Bestimmungen zum Ergebnis gelangt, als Kochgriess gelte ein aus Hartweizen hergestelltes Mahlprodukt, welches in Wasser, Dampf oder Milch gekocht werde und der menschlichen Ernährung diene; Griess, welches für das Backen in trockener Erhitzung verwendet werde, falle nicht unter diesen Begriff.
2.5 Diese Auslegung entspricht der bereits unter der Geltung des aufgehobenen Getreidegesetzes - welches die ausreichende Selbstversorgung der Schweiz mit inländischem Brotgetreide bzw. mit Brot sicherstellen sollte - verwendeten Terminologie: Davon ausgehend, dass Griess und Dunst aus Hartweizen (der grundsätzlich das Ausgangsmaterial für die Herstellung von Teigwaren liefert) ohne weiteres auch an Stelle von gewöhnlichem Mehl verwendet werden können, sollten die Bestimmungen, die nicht für beide Weizenarten gelten, entsprechend formuliert werden. Die Mahlprodukte wurden daher in die beiden Kategorien Backmehl zur menschlichen Ernährung (dessen Einfuhr beschränkt bzw. dem Bund vorbehalten war) und Nebenprodukte der Müllerei (Mehl) unterschieden; Einfuhrbewilligungen waren lediglich möglich für Industrien, die das Backmehl nicht zur Brotherstellung verwendeten (BBl 1958 II 170 und 182). Als Hartweizenmahlprodukt, welches zu besonderen Ernährungszwecken verwendet wird, ist namentlich Kochgriess erwähnt (BBl 1958 II 192).
Die Auslegung der Vorinstanz entspricht auch Sinn und Zweck der während des in Frage stehenden Zeitraumes geltenden rechtlichen Regelung: In der Botschaft zum Bundesgesetz über die Aufhebung des Getreidegesetzes und zur Änderung des Landesversorgungsgesetzes vom 4. Oktober 1999 (BBl 1999 9261, 9267) geht der Bundesrat unter Hinweis auf Art. 40 aZV davon aus, dass der zollbegünstigt importierte Hartweizen (im Gegensatz zum Brotgetreide) primär für die Teigwarenherstellung verwendet und damit verhindert werde, dass die preislich privilegierten Hartweizenimporte den inländischen Futtermittel- und Backmehlmarkt unterlaufen (BBl 1999 9267). Es kann im Übrigen auf die zutreffenden Ausführungen der Vorinstanz (angefochtener Entscheid E. 3.2) verwiesen werden, denen nichts beizufügen ist.
3. 3.1 Die Beschwerdeführerin beruft sich sodann auf den aus dem Grundsatz von Treu und Glauben fliessenden Vertrauensschutz (<ref-law>). In diesem Zusammenhang macht sie geltend, das damals noch zuständige Bundesamt für Landwirtschaft habe ihr (mündlich) zugesichert, die Umstellung auf die neue Einfuhrverordnung werde auf ihre Einfuhren keine Auswirkungen haben; gestützt auf diese Zusicherung habe sie weiter Hartweizen eingeführt, da sie davon ausging, dass die Zollbegünstigung weiterhin bestehe.
3.2 In Bezug auf mündliche und namentlich telefonische Zusicherungen und Auskünfte genügt die blosse, unbelegte Behauptung einer telefonischen Auskunft oder Zusage nicht, um einen Anspruch aus dem Grundsatz des Vertrauensschutzes zu begründen. Eine nicht schriftlich belegte telefonische Auskunft ist zum Beweis von vornherein kaum geeignet (vgl. Urteil 2A.191/2002 vom 21. Mai 2003 E. 3.2.2). Als Folge der Bedeutung des Legalitätsprinzips im Abgaberecht ist der Vertrauensschutz in diesem Bereich zudem praxisgemäss ohnehin nur mit Zurückhaltung zu gewähren (<ref-ruling> E. 6.1). Eine vom Gesetz abweichende Behandlung eines Abgabepflichtigen kann nur in Betracht fallen, wenn die Voraussetzungen des Vertrauensschutzes klar und eindeutig erfüllt sind.
3.3 Die Vorinstanz hat zutreffend dargelegt, inwiefern die Voraussetzungen, dass sich die Beschwerdeführerin mit Erfolg auf eine (unrichtige) Auskunft der Behörde verlassen durfte (vgl. dazu <ref-ruling> E. 5, 131 II 627 E. 6.1), nicht erfüllt sind. Insbesondere verfüge die Beschwerdeführerin über keinerlei schriftliche Unterlagen, welche die Auskunft belegen könnten. Zudem sei ab dem 1. Juli 2001 - für die Beschwerdeführerin erkennbar - neu für solche Auskünfte die Zollverwaltung zuständig gewesen, worauf das Bundesamt für Landwirtschaft im Dezember 2000 mit einem Informationsbulletin hingewiesen habe. Da die in Frage stehenden Einfuhren von Mitte 2002 bis Ende 2004 erfolgten, kann auf diese Ausführungen verwiesen werden. Insbesondere legt die Beschwerdeführerin nicht näher dar, inwiefern ihr zugesichert worden sei, die Verwendung des zollbegünstigt eingeführten Hartweizens bzw. des daraus hergestellten Kochgriesses zu Backzwecken sei zulässig. Anhaltspunkte für eine solche Auskunft ergeben sich auch nicht aus den Akten. Das früher zuständige Bundesamt für Landwirtschaft scheint vielmehr - ebenfalls unzutreffend - lediglich einmal davon ausgegangen zu sein, dass Einfuhren im 1. Quartal 2000 entgegen ihrer Deklaration als Hartweizen zur menschlichen Ernährung als solche für Futterzwecke (Zollansatz Fr. 29.--/q) zu qualifizieren waren (Zollnachzahlungsforderung vom 5. Juli 2000). Soweit ersichtlich hat die Beschwerdeführerin nie gegen diese Nachbelastung opponiert.
3.4 Eine "konsequentere" Anwendung der Rechtsgrundlagen stellt keine unzulässige Praxisänderung (<ref-law>) dar; dies namentlich auf Grund der nunmehr geänderten Zuständigkeit der mit der Überwachung betrauten Behörden. Eine frühere abweichende Praxis ist zudem nicht belegt: Aus einem Schreiben vom 2. Dezember 2003 an die Oberzolldirektion (act. 9 und 10 deren Vernehmlassung an die Vorinstanz) ergibt sich, dass auch das Bundesamt für Landwirtschaft davon ausgegangen ist, dass Griess, der in Backprodukten verwendet wird, von der Einfuhr innerhalb des Zollkontingents ausgeschlossen ist. Auch aus dem Umstand, dass die Zollverwaltung nicht bereits früher eine Nachverzollung verlangt hat, kann die Beschwerdeführerin nichts zu ihren Gunsten ableiten, weil auf Grund des Selbstdeklarationsprinzips der Zollmeldepflichtige die Deklaration abzugeben und für deren Richtigkeit einzustehen hat. Es kommt hinzu, dass sich die Beschwerdeführerin mit der Unterzeichnung der Verwendungsverpflichtung am 4. Juli 2001 zu der in dieser eindeutig bezeichneten Verwendung des zollbegünstigt eingeführten Hartweizens verpflichtet hat.
4. Mit der Menge des zollbegünstigt eingeführten Hartweizens und der nachgeforderten Zolldifferenz setzt sich die Beschwerdeführerin nicht auseinander, weshalb darauf nicht einzugehen ist.
5. Die Beschwerde ist aus diesen Gründen abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang hat die Beschwerdeführerin die Kosten des Verfahrens vor Bundesgericht zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 8'000.-- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Bundesverwaltungsgericht schriftlich mitgeteilt.
Lausanne, 15. März 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Küng