Sachverhalt: A. X._ bewirtschaftet einen landwirtschaftlichen Betrieb in A._ mit 1'023 a landwirtschaftlicher Nutzfläche. Seit dem Jahr 2000 nutzt er überdies 859 a Wiesen und Weiden in B._, die der Bergzone I zugeteilt sind. Von 2000 bis 2005 erhielt er dafür Direktzahlungen. Im Jahr 2006 weitete er die in B._ bewirtschaftete Fläche auf insgesamt 2'119 a aus, was zu einem Gesamtbetrieb mit einer Fläche von 3'142 a führte. Während der Vegetationsperiode zog X._ mit seiner Mutterkuhherde von A._ nach B._ und versorgte seine Tiere vor Ort. Ein Teil der dortigen Fläche von 1'267 a wurde dabei als Wiese mit Schnittnutzung und der übrige Teil von 852 a als Weide genutzt. Das auf den Wiesen gewonnene Futter wurde in A._ als Winterfutter verwendet. B. Am 6. Juni 2007 führte die Dienststelle Landwirtschaft und Wald (lawa) des Kantons Luzern (nachfolgend: Dienststelle [lawa]) zusammen mit je einem Vertreter des Bundesamts für Landwirtschaft und des Landwirtschaftsamts Solothurn auf der Produktionsstätte B._ einen Augenschein durch. In einem Schreiben vom 28. Juni 2007 an X._ hielt die Dienststelle (lawa) als Ergebnis fest, von den dortigen insgesamt 2'119 a würden 963 a ausschliesslich als Weiden genutzt und 1'156 a als Dauerwiesen mit Schnitt- und Weidenutzung verwendet. Neu werde ein Stall von rund 250 m2 erstellt. X._ halte ab Anfang Mai bis Ende September oder Mitte Oktober rund 30 Mutterkühe und die gleiche Anzahl Kälber in B._. Da diese Produktionsstätte nicht ganzjährig bewirtschaftet werde, handle es sich bei den zugehörigen Flächen grundsätzlich nicht um landwirtschaftliche Nutzflächen. Um jedoch die Dauerwiesen mit Schnittnutzung nicht schlechter zu stellen als beitragsberechtigte Heuwiesen im Sömmerungsgebiet, würden diese Flächen ebenfalls zur landwirtschaftlichen Nutzfläche gezählt, sofern der Ertrag aus der Schnittnutzung nicht vor Ort zur Zu- oder Ausfütterung verwendet werde. Die Flächen mit ausschliesslicher Weidenutzung bildeten demgegenüber Sömmerungsweiden, die als Basis zur Anerkennung eines Sömmerungsbetriebes dienen würden. Mit Schreiben vom 10. Juli 2007 beantragte X._ der Dienststelle (lawa), die von ihm in B._ bewirtschafteten Flächen als landwirtschaftliche Nutzflächen einzustufen und dementsprechende Beiträge auszurichten. Am 1. Oktober 2007 teilte er der Dienststelle (lawa) mit, ab sofort werde er den Betrieb B._ ganzjährig bewirtschaften. C. Am 27. November 2006 entschied die Dienststelle (lawa), X._ erhalte für das Jahr 2006 Flächenbeiträge von Fr. 12'276.-- für 1'023 a, Beiträge für die Haltung raufutterverzehrender Tiere von Fr. 18'414.--, Beiträge für die Tierhaltung unter erschwerten Produktionsbedingungen für 20 Grossvieheinheiten sowie Beiträge für den ökologischen Ausgleich von Fr. 1'305.--. Mit Entscheid vom 15. Februar 2008 verfügte die Dienststelle (lawa) für das Jahr 2007 Flächenbeiträge von Fr. 26'335.-- für 2'290 a, Beiträge für die Haltung raufutterverzehrender Tiere von Fr. 25'092.--, Beiträge für die Tierhaltung unter erschwerten Produktionsbedingungen für 20 Grossvieheinheiten, Fr. 3'540.-- Allgemeine Hangbeiträge sowie Beiträge für den ökologischen Ausgleich von Fr. 3'155.--. Gegen beide Entscheide erhob X._ Einsprache, im Wesentlichen mit der Begründung, zu Unrecht seien nicht sämtliche von ihm in B._ bewirtschaftete Flächen als landwirtschaftliche Nutzfläche anerkannt worden. Mit Einspracheentscheid vom 3. April 2009 anerkannte die Dienststelle (lawa) für die Jahre 2006 und 2007 auf der Produktionsstätte B._ 1'277 a als landwirtschaftliche Nutzfläche und 842 a als Sömmerungsfläche. Auf der dortigen Parzelle 83 würden für das Jahr 2006 215 a (anstelle von 90 a) und für das Jahr 2007 225 a als extensive Wiese berücksichtigt. Der Entscheid enthielt im Wesentlichen die gleiche Begründung wie das nach dem Augenschein verfasste Schreiben vom 28. Juni 2007. Die Dienststelle (lawa) hielt dazu präzisierend fest, die Zuteilung der fraglichen Flächen sei reversibel, da sich diese nicht im Sömmerungsgebiet befänden; aufgrund der Einsprache sei zudem nachvollziehbar, dass ab 2007 eine um 10 a grössere Fläche als extensive Wiese bewirtschaftet werde und schliesslich seien die Voraussetzungen des von X._ angerufenen Vertrauensschutzes nicht erfüllt. D. Dagegen führte X._ Beschwerde beim Bundesverwaltungsgericht. Dieses hiess die Beschwerde in zwei Nebenpunkten teilweise gut: Erstens korrigierte es die als landwirtschaftliche Nutzfläche veranschlagte Fläche von 1'277 a auf 1'267 a und die als Sömmerungsfläche anerkannte Fläche von 842 a auf 852 a; zweitens berichtigte es bestimmte im Einspracheentscheid enthaltene Parzellenangaben. Im Übrigen, und damit auch im Hauptpunkt, wies das Bundesverwaltungsgericht die Beschwerde jedoch ab. E. Dagegen erhob X._ am 7. Mai 2010 Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er stellt im Wesentlichen den Antrag, die ganze Produktionsstätte B._ im Umfang von 2'119 a als landwirtschaftliche Nutzfläche anzuerkennen und dementsprechend die landwirtschaftsrechtlichen Beiträge für die Beitragsjahre 2006 und 2007 auf der Grundlage von insgesamt 3'142 a landwirtschaftlicher Nutzfläche auszurichten bzw. die Dienststelle (lawa) anzuweisen, die Beiträge mit Zinsen auf dieser Grundlage neu zu berechnen und auszurichten. Eventuell sei die Sache im Sinne der Erwägungen zur Neubeurteilung an die Dienststelle (lawa) zurückzuweisen. Zur Begründung wird im Wesentlichen geltend gemacht, der Entscheid verstosse gegen die bundesrechtlichen Bestimmungen über die Ermittlung der landwirtschaftlichen Nutzfläche sowie gegen die entsprechende bundesrechtlich festgelegte Kompetenzordnung; überdies sei er willkürlich und verletze den Anspruch von X._ auf rechtliches Gehör sowie den verfassungsrechtlichen Grundsatz von Treu und Glauben. F. Die Dienststelle (lawa) und das Bundesamt für Landwirtschaft schliessen auf Abweisung der Beschwerde. Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet. G. Mit Eingabe vom 26. Oktober 2010 hat sich der Beschwerdeführer zu den behördlichen Stellungnahmen geäussert.