Sachverhalt:
A. X._ ist Pächter des Gemüsebaubetriebes G._ in Oberriet/SG; Eigentümerin des Betriebes ist die Politische Gemeinde Oberriet. Im Jahr 2004 pachtete X._ von A.Y._ und B.Y._ (Meiningen/A und Koblach/A) verschiedene in Österreich (Meiningen/A und Rankweil/A) gelegene Grundstücke mit einer Gesamtfläche von rund 7 ha "zur Selbstbewirtschaftung". In den Jahren 2004 bis 2008 führte X._ jeweils von diesen österreichischen Grundstücken stammende, landwirtschaftliche Produkte im Rahmen des landwirtschaftlichen Bewirtschaftungsverkehrs zollbefreit in die Schweiz ein.
Am 13. August 2008 wurde gegen X._ eine Zollstrafuntersuchung eröffnet. Die Untersuchung ergab, dass er von April 2004 bis Oktober 2008 zu Unrecht landwirtschaftliche Erzeugnisse zollbefreit in die Schweiz eingeführt habe. Im Zusammenhang mit der Bewirtschaftung der Grundstücke habe A.Y._ etliche Aufgaben übernommen und habe auch einen Teil des Geschäftsrisikos getragen; von einer selbständigen Bewirtschaftung durch den Pächter - eine der Voraussetzungen für die zollbefreite Einfuhr - könne nicht mehr die Rede sein, weshalb sich X._ der Widerhandlungen gegen das Zollgesetz und gegen das Mehrwertsteuergesetz schuldig gemacht habe. Mit Verfügung vom 11. März 2010 forderte die Zollkreisdirektion Schaffhausen von X._ nicht entrichtete Abgaben im Umfang von Fr. 1'532'082.95 nach (Zoll: Fr. 1'385'683.35; Mehrwertsteuer: Fr. 48'423.20; Verzugszins: Fr. 97'976.40).
Die dagegen erhobene Beschwerde von X._ hat das Bundesverwaltungsgericht mit Urteil vom 25. November 2010 abgewiesen, soweit es darauf eingetreten ist.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht im Hauptantrag, das erwähnte Urteil des Bundesverwaltungsgerichts sowie die Verfügung der Zollkreisdirektion Schaffhausen über die Leistungspflicht aufzuheben und - mit Ausnahme der Abgaben für Fahrzeugreparaturen - von einer Nachforderung abzusehen.
Die Oberzolldirektion beantragt, die Beschwerde abzuweisen.
Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet.

Erwägungen:
1. 1.1 Soweit sich die Beschwerde auch gegen die Verfügung der Zollkreisverwaltung richtet, ist diese durch das angefochtene Urteil ersetzt worden (Devolutiveffekt), weshalb insoweit auf die Beschwerde nicht einzutreten ist (vgl. <ref-ruling> E. 1).
1.2 Am 1. Mai 2007 sind das Zollgesetz vom 18. März 2005 (ZG; SR 631.0) sowie die Zollverordnung vom 1. November 2006 (ZV; SR 631.01) in Kraft getreten. Die in Frage stehenden Einfuhren erfolgten von April 2004 bis Oktober 2008. Für Einfuhren vor dem 1. Mai 2007 sind somit in materieller Hinsicht die Vorschriften des alten Zollgesetzes vom 1. Oktober 1925 (aZG; AS 42 287 und BS 6 465) sowie der Verordnung vom 10. Juli 1926 zum Zollgesetz (aZV; AS 42 339 und BS 6 514) anzuwenden. Für das Zollverfahren ist dagegen grundsätzlich auf das neue Recht abzustellen (vgl. Urteil 2C_366/2007 vom 3. April 2008 E. 2). Für die Einfuhren ab dem 1. Mai 2007 ist vollumfänglich das neue Recht anwendbar.
2. 2.1 Jede Einfuhr von Waren, die über die schweizerische Zollgrenze befördert werden, unterliegt grundsätzlich der Zollpflicht (<ref-law> und Art. 1 aZG). Ausnahmen von dieser allgemeinen Zollpflicht bedürfen einer gesetzlichen oder staatsvertraglichen Grundlage (Art. 1 des Zolltarifgesetzes vom 9. Oktober 1986 (ZTG, SR 632.10).
2.2 Art. 14 aZG zählt solche Ausnahmen von der generellen Zollpflicht auf. Zollfrei ist namentlich die Einfuhr von "rohen Bodenerzeugnissen - mit Ausnahme der Produkte des Rebbaus - von Grundstücken in der ausländischen Wirtschaftszone, die von ihren Eigentümern, Nutzniessern oder durch Pächter bewirtschaftet werden, wenn der Bewirtschafter seinen Wohnsitz in der schweizerischen Wirtschaftszone hat und die Bodenerzeugnisse selbst oder durch seine Angestellte einführt" (Ziff. 23). Art. 28 aZV enthält die näheren Bestimmungen. Diese Regelungen sind im Wesentlichen im neuen Recht übernommen worden (Art. 8 Abs. 2 lit. j in Verbindung mit <ref-law>, Art. 23 ZV); im Bereich des Grenzzonenverkehrs (d.h. im Gebietsstreifen von 10 km Tiefe beidseits der Grenze) wurde keine Praxisänderung angestrebt (vgl. BBl 2004 596, HEINZ SCHREIER, in: Zollgesetz [ZG], Hrsg. Martin Kocher/ Diego Clavadetscher, 2009, N. 13 zu <ref-law>).
2.3 Im Rahmen des landwirtschaftlichen Bewirtschaftungsverkehrs sind Einfuhren deshalb nur zollbefreit, wenn grundsätzlich die folgenden Voraussetzungen kumulativ erfüllt sind (vgl. Art. 14 Ziff. 23 aZG, Art. 28 aZV, Art. 8 Abs. 2 lit. j und <ref-law> in Verbindung mit Art. 23 ZV, Art. 118 ZV; ROLF WÜTHRICH, in: Zollgesetz [ZG], a.a.O., N. 8 ff. zu <ref-law>):
- der Bewirtschafter des in der ausländischen Grenzzone (d.h. innerhalb 10 km von der Grenze) liegenden Grundstücks muss Wohnsitz in der schweizerischen Grenzzone haben,
- er muss Eigentümer, Pächter oder Nutzniesser des betreffenden Grundstücks sein,
- er muss dieses Grundstück selber bewirtschaften,
- die einzuführenden Ernteerträge müssen roh sein, d.h. sie dürfen keine weitere Behandlung erfahren haben als zu ihrer Gewinnung und zu ihrem Abtransport notwendig ist,
- es sind die vorgeschriebenen formellen Anforderungen wie das Einreichen verschiedener Belege und das Anmelden der Waren zu erfüllen.
2.4 Die im Rahmen des landwirtschaftlichen Bewirtschaftungsverkehrs ausnahmsweise gewährte Zollfreiheit ist einschränkend zu verstehen und denjenigen Eigentümern, Nutzniessern und Pächtern vorbehalten, die diese Grundstücke tatsächlich selber bewirtschaften. Insbesondere im Bereich der Pacht müssen die wesentlichen Merkmale einer Pacht tatsächlich vorliegen und es muss feststehen, dass der Verpächter dem Pächter die Grundstücke zur selbständigen Bewirtschaftung übertragen hat. Dies ist nicht der Fall, wenn der Verpächter am verpachteten Land selber Arbeiten ausführt oder Entscheide über die Art der Bewirtschaftung trifft, welche über eine blosse Kontrolle hinausgehen (Urteil 2A.471/1998 vom 4. Februar 1999 E. 1c). Durch den landwirtschaftlichen Pachtvertrag verpflichtet sich der Verpächter denn auch lediglich, dem Pächter ein Gewerbe oder ein Grundstück zur landwirtschaftlichen Nutzung zu überlassen, und der Pächter, dafür einen Zins zu bezahlen (Art. 4 des Bundesgesetzes vom 4. Oktober 1985 über die landwirtschaftliche Pacht [LPG; 221.213.2]).
Soweit der Beschwerdeführer in diesem Zusammenhang eine fehlende gesetzliche Grundlage geltend macht, verkennt er den erwähnten Grundsatz der generellen Zollpflicht für jegliche Einfuhren. Diese bildet eine genügende gesetzliche Grundlage für die Abgabenerhebung. Auch die Ausnahmen betreffend die hier in Frage stehenden Einfuhren im landwirtschaftlichen Grenzverkehr sind in Art. 14 Ziff. 23 aZG bzw. den entsprechenden Bestimmungen des neuen Rechts gesetzlich genügend bestimmt.
Die Verweigerung der Abgabebefreiung im Falle der Bewirtschaftung durch den Verpächter lässt sich auf den Wortlaut sowie den Sinn und Zweck der Bestimmung stützen und entspricht bewährter bundesgerichtlicher Praxis zur Vermeidung von Missbräuchen (vgl. Urteil 2A.471/1998 vom 4. Februar 1999 E. 1); sie kann nicht als willkürlich bezeichnet werden. Die Rüge der Verletzung des Legalitätsprinzips im Zollrecht (Art. 164 Abs. 1 lit. d sowie Art. 127 Abs. 2 BV) erweist sich als unbegründet.
2.5 Gegenstände, die gemäss <ref-law> bzw. Art. 1 aZG zollpflichtig sind, unterliegen grundsätzlich auch der Einfuhrsteuer. Am 1. Januar 2010 ist das Bundesgesetz vom 12. Juni 2009 über die Mehrwertsteuer (MWSTG; SR 641.20) in Kraft getreten. Die bisherigen gesetzlichen Bestimmungen sowie die gestützt darauf erlassenen Vorschriften bleiben grundsätzlich weiterhin auf alle während ihrer Geltungsdauer eingetretenen Tatsachen und entstandenen Rechtsverhältnisse anwendbar (<ref-law>). Vorliegend gelangen somit Art. 72 ff. des Mehrwertsteuergesetzes vom 2. September 1999 (aMWSTG, AS 2000 1300) zur Anwendung. Gemäss Art. 74 Abs. 1 Ziff. 4 aMWSTG (bzw. Ziff. 5 in der bis 30. April 2007 geltenden Fassung) in Verbindung mit Art. 8 Abs. 2 lit. j und Art. 43 Abs. 1 lit. a ZG bzw. in Verbindung mit Art. 14 Ziff. 23 aZG sind zollfreie Waren des landwirtschaftlichen Bewirtschaftungsverkehrs auch von der Einfuhrsteuer befreit.
2.6 Eine Zollübertretung begeht unter anderem, wer für Waren Zollbefreiung oder Zollermässigung erwirkt, ohne dass die Voraussetzungen für den zollfreien Warenverkehr oder die Zollbegünstigung zutreffen (Art. 74 Ziff. 9 aZG). Im neuen Recht wird dieser Tatbestand von <ref-law> erfasst. Nach Art. 85 aMWSTG macht sich unter anderem strafbar, wer für sich eine unrechtmässige Steuerbefreiung erwirkt. Gemäss Art. 80 Abs. 1 aZG und <ref-law> sowie Art. 88 Abs. 1 aMWSTG gelangt bei Zollwiderhandlungen und Widerhandlungen gegen das Mehrwertsteuergesetz das Bundesgesetz vom 22. März 1974 über das Verwaltungsstrafrecht (VStrR, SR 313.0) zur Anwendung. Gemäss Art. 12 Abs. 1 VStrR ist die infolge einer Widerhandlung zu Unrecht nicht erhobene Abgabe ohne Rücksicht auf die Strafbarkeit einer Person nachzuentrichten. Zur Nachleistung ist verpflichtet, wer in den Genuss des unrechtmässigen Vorteils gelangt ist, insbesondere der zur Zahlung der Abgabe Verpflichtete oder der Empfänger der Vergütung oder des Beitrages (Art. 12 Abs. 2 VStrR). Voraussetzung für die Anwendbarkeit von Art. 12 Abs. 2 VStrR ist eine objektive Widerhandlung gegen die Verwaltungsgesetzgebung des Bundes (<ref-ruling> E. 3a, <ref-ruling> E. 3.4.3); es genügt, dass der durch die Nichtleistung der Abgabe entstandene unrechtmässige Vorteil seinen Grund in einer Widerhandlung im objektiven Sinn hat (<ref-ruling> E. 2c, <ref-ruling> E. 3.2; Urteile 2C_132/2009 vom 7. Januar 2010 E. 4.1 und 2A.660/2006 vom 8. Juni 2007 E. 6.2).
3. 3.1 Nach den Feststellungen der Vorinstanz bestanden zwischen dem Beschwerdeführer und A.Y._ und B.Y._ Verträge, gemäss denen der Beschwerdeführer mehrere in der österreichischen Grenzzone liegende Grundstücke zur Pacht übernahm. Vom 30. April 2004 bis 23. Oktober 2008 habe der Beschwerdeführer von diesen Grundstücken stammende landwirtschaftliche Produkte zollbefreit in die Schweiz eingeführt.
Namentlich A.Y._ bzw. dessen Angestellte hätten - ausser bei den Karotten und Zwiebeln, wo der Verpächter aber zumindest die Düngung durchgeführt habe - in der Regel zumindest folgende Arbeiten übernommen:
- Bestellung der Samen und Jungpflanzen,
- Durchführung der Grundbodenbearbeitung und Bepflanzung der Felder,
- Übernahme von Unterhaltsarbeiten (Bewässern, Pflanzenschutz, Hacken),
- Bestellung von Dünger und Spritzmitteln und Mithilfe bei der Ernte.
Daneben sei ein Teil des Gemüses unmittelbar nach der Ernte gewaschen und bis zum Abtransport in die Schweiz in den Kühlräumen der Y._ gelagert worden.
Bei der Erstellung der Fruchtfolge- und Absatzplanung sei A.Y._ zugegen gewesen und habe dabei zumindest eine informierende bzw. beratende Funktion wahrgenommen.
Anlässlich der Einvernahme vom 4. November 2008 habe der Beschwerdeführer selber erklärt, Y._ übernehme zwei Drittel der im Rahmen der Bewirtschaftung der Grundstücke anfallenden Arbeiten.
3.2 Inwiefern diese Feststellungen offensichtlich unrichtig sein oder auf einer Rechtsverletzung beruhen sollen, legt der Beschwerdeführer nicht in einer den Begründungsanforderungen genügenden Weise (vgl. Art. 42 Abs. 2, Art. 97 Abs. 1, Art. 105 und 106 BGG) dar. Seine Ausführungen erschöpfen sich vielmehr in einer Darstellung des Sachverhalts aus seiner Sicht der Dinge.
Was namentlich die Feststellung betrifft, der Verpächter habe ebenfalls ein gewisses Geschäftsrisiko getragen, so erscheint diese nicht unhaltbar. Denn die Entschädigung des Verpächters hing offensichtlich auch von der Menge der geernteten bzw. verkauften Produkte ab (angefochtenes Urteil E. 3.2.5).
4. 4.1 In Würdigung der gesamten Umstände kam die Vorinstanz zum Schluss, aufgrund der engen Zusammenarbeit zwischen dem Beschwerdeführer und A.Y._ erscheine bereits fraglich, ob überhaupt von einem Pachtverhältnis ausgegangen werden könne. Zwar lägen entsprechende Verträge vor, wonach der Beschwerdeführer gegen Entrichtung eines Pachtzinses von Fr. 4.-- pro Are und Jahr die Grundstücke zur "Selbstbewirtschaftung" übernehme; die Verträge seien aber offensichtlich nicht entsprechend umgesetzt worden. Der Beschwerdeführer habe die Bewirtschaftung der Grundstücke nicht selbst, sondern zusammen mit A.Y._ bzw. mit dessen Mitarbeitern übernommen. Zudem sei der Pachtzins (zumindest ab dem Jahre 2006) nicht (mehr) in der vertraglich festgelegten Art und Höhe bezahlt, sondern unter Berücksichtigung der von A.Y._ bzw. dessen Angestellten erbrachten Dienstleistungen sowie später auch der Kosten für die Jungpflanzen, Pflanzenschutzmittel und Dünger in Relation zu den vom Beschwerdeführer eingeführten Produkten in Form einer Art "Produktepreis" vergütet worden.
Die Vorinstanz hat diese Frage letztlich offengelassen, weshalb darauf nicht näher einzugehen ist.
4.2 Klar nicht erfüllt ist nach Auffassung der Vorinstanz jedenfalls das Kriterium der selbständigen Bewirtschaftung. Auch wenn der Beschwerdeführer die von ihm ausdrücklich geltend gemachten Arbeiten und Aufgaben übernommen habe, sei die Arbeit auf den Feldern in erheblichem Umfang durch A.Y._ bzw. dessen Angestellte, also durch den Verpächter selber, geleistet worden.
4.3 Diese Folgerung steht im Einklang mit der bundesgerichtlichen Rechtsprechung, weshalb die Vorinstanz ohne Verletzung von Bundesrecht zum Schluss gelangen durfte, damit scheide die Möglichkeit einer zollbefreiten Einfuhr im Rahmen des landwirtschaftlichen Bewirtschaftungsverkehrs für sämtliche in Rede stehenden Einfuhren von vornherein aus.
Die Vorinstanz ist namentlich darin beizupflichten, dass es zur Erfüllung der Voraussetzungen des landwirtschaftlichen Bewirtschaftungsverkehrs nicht notwendig ist, dass der Bewirtschafter das ausländische Grundstück selber bearbeitet; es ist durchaus zulässig, dass seine Angestellten bei der Bewirtschaftung der Grundstücke mithelfen. Anders verhält es sich jedoch, wenn der Verpächter bzw. dessen Angestellte in erheblichem Umfang Aufgaben bei der Bearbeitung der im Ausland gelegenen Felder übernehmen, die über eine blosse Kontrolle der Kulturen hinausgehen. Nach feststehender Rechtsprechung des Bundesgerichts kann im Falle der Mitwirkung durch den Verpächter in erheblichem Umfang grundsätzlich nicht mehr von einer selbständigen Bewirtschaftung durch den Pächter gesprochen werden.
4.4 Damit erübrigen sich Ausführungen in Bezug auf das weitere Erfordernis der rohen Bodenerzeugnisse. Auch hier wäre jedoch der Vorinstanz darin zuzustimmen, dass es sich weder beim Waschen des Gemüses noch bei dessen Lagerung auf dem Hof der Y._ um eine notwendige Bearbeitung handelt, welche für den Transport vom Feld auf den Hof des Beschwerdeführers erforderlich wäre, zumal die Entfernung der beiden Höfe lediglich vier Kilometer beträgt.
4.5 Die Vorinstanz hat somit ohne Verletzung von Bundesrecht die Voraussetzungen zur zollfreien Einfuhr der landwirtschaftlichen Erzeugnisse als nicht erfüllt erachtet, womit die zu Unrecht nicht entrichteten Abgaben entsprechend nachzuentrichten sind.
5. 5.1 Der Beschwerdeführer beruft sich schliesslich auf das Vertrauensschutzprinzip (<ref-law>). Er stützt sich dabei vor allem darauf, dass die Zollbehörden seit der Besprechung vom 10. Juli 2006 zwar von der Erntebearbeitung gewusst, diese jedoch zwei Jahre lang toleriert hätten, ohne sich für die Beantwortung einer entsprechenden Anfrage durch die Oberzolldirektion einzusetzen. Die Nichtbeantwortung sei der Erteilung einer falschen Auskunft gleichzustellen.
5.2 Aufgrund der Bedeutung des Legalitätsprinzips im Abgaberecht kommt dem Vertrauensschutz in diesem Bereich lediglich beschränkte Bedeutung zu (<ref-ruling> E. 6.1). Eine vom Gesetz abweichende Behandlung eines Abgabepflichtigen kann nur in Betracht fallen, wenn die Voraussetzungen des Vertrauensschutzes klar und eindeutig erfüllt sind (Urteil 2C_123/2010 vom 5. Mai 2010 E. 4.1).
5.3 Der Beschwerdeführer beruft sich offensichtlich auf eine Besprechung auf dem Zollinspektorat Schaanwald vom 10. Juli 2006 (angefochtenes Urteil E. 4.4.1). Die Vorinstanz hält dazu zu Recht fest, dass sich die Frage des Vertrauensschutzes somit von vornherein nur auf die Zeit nach dieser Besprechung beziehen könne; für den Zeitraum davor fehle es von vornherein an einer Vertrauensgrundlage, auf die sich der Beschwerdeführer hätte stützen können. Die genannte Besprechung bzw. die Anfrage habe sich zudem darauf beschränkt, inwieweit die Produkte bearbeitet werden dürfen, um noch als rohes Bodenerzeugnis zu gelten. Die enge Zusammenarbeit zwischen dem Beschwerdeführer und Y._ sei offenbar nicht Thema der Besprechung bzw. der Anfrage des Beschwerdeführers gewesen. Der genaue Ablauf der Bewirtschaftung sei erst im Verlaufe der - mit Beschluss vom 13. August 2008 eröffneten und mit Schlussprotokoll vom 11. März 2010 abgeschlossenen - Untersuchung aufgedeckt worden. Damit könne nicht von einem "Dulden" eines rechtswidrigen Zustandes durch die Zollbehörden gesprochen werden. Selbst wenn dem Beschwerdeführer bezüglich der Bearbeitung des Gemüses Vertrauensschutz zu gewähren wäre, würde ihm dies im Ergebnis nichts nützen, da die Voraussetzung der selbständigen Bewirtschaftung nicht gegeben sei. Das Verhalten der Zollbehörden vermöge in diesem Punkt jedoch keine Vertrauensgrundlage zu begründen.
5.4 Dem ist zuzustimmen. Es kann auf die schlüssigen Ausführungen der Vorinstanz (angefochtenes Urteil E. 4) verwiesen werden. Auch der Einwand des Beschwerdeführers, das Unterbleiben der Auskunft während zweier Jahre bedeute Zustimmung, ist nicht stichhaltig; wäre er an einer solchen Auskunft tatsächlich interessiert gewesen, so hätte er selber erneut anfragen oder eine Rechtsverweigerungsbeschwerde einreichen können. Aus seinem eigenen Untätigbleiben kann er keine Ansprüche ableiten, zumal es lediglich um offene Fragen bezüglich der Bearbeitung der geernteten Produkte ging. Von einem Dulden der unzulässigen vorwiegenden Bewirtschaftung durch den Verpächter, die hier massgebend ist, kann ohnehin nicht die Rede sein. Der Beschwerdeführer hat an der in Frage stehenden Besprechung wahrheitswidrig erklärt, er bewirtschafte die Grundstücke als Pächter mit eigenem Personal. Die Vorinstanz hat jedenfalls kein Bundesrecht verletzt, indem sie zur Überzeugung gelangt ist, dass kein Verhalten der Behörden vorliege, welches eine Vertrauensgrundlage zu begründen vermochte.
6. Die Beschwerde ist aus diesen Gründen abzuweisen, soweit darauf einzutreten ist. Entsprechend diesem Ausgang hat der Beschwerdeführer die Kosten des Verfahrens vor Bundesgericht zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 12'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Bundesverwaltungsgericht schriftlich mitgeteilt.
Lausanne, 2. Mai 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Küng