Sachverhalt:
A. X._ bewirtschaftet einen landwirtschaftlichen Betrieb in A._ mit 1'023 a landwirtschaftlicher Nutzfläche. Seit dem Jahr 2000 nutzt er überdies 859 a Wiesen und Weiden in B._, die der Bergzone I zugeteilt sind. Von 2000 bis 2005 erhielt er dafür Direktzahlungen. Im Jahr 2006 weitete er die in B._ bewirtschaftete Fläche auf insgesamt 2'119 a aus, was zu einem Gesamtbetrieb mit einer Fläche von 3'142 a führte. Während der Vegetationsperiode zog X._ mit seiner Mutterkuhherde von A._ nach B._ und versorgte seine Tiere vor Ort. Ein Teil der dortigen Fläche von 1'267 a wurde dabei als Wiese mit Schnittnutzung und der übrige Teil von 852 a als Weide genutzt. Das auf den Wiesen gewonnene Futter wurde in A._ als Winterfutter verwendet.
B. Am 6. Juni 2007 führte die Dienststelle Landwirtschaft und Wald (lawa) des Kantons Luzern (nachfolgend: Dienststelle [lawa]) zusammen mit je einem Vertreter des Bundesamts für Landwirtschaft und des Landwirtschaftsamts Solothurn auf der Produktionsstätte B._ einen Augenschein durch. In einem Schreiben vom 28. Juni 2007 an X._ hielt die Dienststelle (lawa) als Ergebnis fest, von den dortigen insgesamt 2'119 a würden 963 a ausschliesslich als Weiden genutzt und 1'156 a als Dauerwiesen mit Schnitt- und Weidenutzung verwendet. Neu werde ein Stall von rund 250 m2 erstellt. X._ halte ab Anfang Mai bis Ende September oder Mitte Oktober rund 30 Mutterkühe und die gleiche Anzahl Kälber in B._. Da diese Produktionsstätte nicht ganzjährig bewirtschaftet werde, handle es sich bei den zugehörigen Flächen grundsätzlich nicht um landwirtschaftliche Nutzflächen. Um jedoch die Dauerwiesen mit Schnittnutzung nicht schlechter zu stellen als beitragsberechtigte Heuwiesen im Sömmerungsgebiet, würden diese Flächen ebenfalls zur landwirtschaftlichen Nutzfläche gezählt, sofern der Ertrag aus der Schnittnutzung nicht vor Ort zur Zu- oder Ausfütterung verwendet werde. Die Flächen mit ausschliesslicher Weidenutzung bildeten demgegenüber Sömmerungsweiden, die als Basis zur Anerkennung eines Sömmerungsbetriebes dienen würden.
Mit Schreiben vom 10. Juli 2007 beantragte X._ der Dienststelle (lawa), die von ihm in B._ bewirtschafteten Flächen als landwirtschaftliche Nutzflächen einzustufen und dementsprechende Beiträge auszurichten. Am 1. Oktober 2007 teilte er der Dienststelle (lawa) mit, ab sofort werde er den Betrieb B._ ganzjährig bewirtschaften.
C. Am 27. November 2006 entschied die Dienststelle (lawa), X._ erhalte für das Jahr 2006 Flächenbeiträge von Fr. 12'276.-- für 1'023 a, Beiträge für die Haltung raufutterverzehrender Tiere von Fr. 18'414.--, Beiträge für die Tierhaltung unter erschwerten Produktionsbedingungen für 20 Grossvieheinheiten sowie Beiträge für den ökologischen Ausgleich von Fr. 1'305.--. Mit Entscheid vom 15. Februar 2008 verfügte die Dienststelle (lawa) für das Jahr 2007 Flächenbeiträge von Fr. 26'335.-- für 2'290 a, Beiträge für die Haltung raufutterverzehrender Tiere von Fr. 25'092.--, Beiträge für die Tierhaltung unter erschwerten Produktionsbedingungen für 20 Grossvieheinheiten, Fr. 3'540.-- Allgemeine Hangbeiträge sowie Beiträge für den ökologischen Ausgleich von Fr. 3'155.--. Gegen beide Entscheide erhob X._ Einsprache, im Wesentlichen mit der Begründung, zu Unrecht seien nicht sämtliche von ihm in B._ bewirtschaftete Flächen als landwirtschaftliche Nutzfläche anerkannt worden.
Mit Einspracheentscheid vom 3. April 2009 anerkannte die Dienststelle (lawa) für die Jahre 2006 und 2007 auf der Produktionsstätte B._ 1'277 a als landwirtschaftliche Nutzfläche und 842 a als Sömmerungsfläche. Auf der dortigen Parzelle 83 würden für das Jahr 2006 215 a (anstelle von 90 a) und für das Jahr 2007 225 a als extensive Wiese berücksichtigt. Der Entscheid enthielt im Wesentlichen die gleiche Begründung wie das nach dem Augenschein verfasste Schreiben vom 28. Juni 2007. Die Dienststelle (lawa) hielt dazu präzisierend fest, die Zuteilung der fraglichen Flächen sei reversibel, da sich diese nicht im Sömmerungsgebiet befänden; aufgrund der Einsprache sei zudem nachvollziehbar, dass ab 2007 eine um 10 a grössere Fläche als extensive Wiese bewirtschaftet werde und schliesslich seien die Voraussetzungen des von X._ angerufenen Vertrauensschutzes nicht erfüllt.
D. Dagegen führte X._ Beschwerde beim Bundesverwaltungsgericht. Dieses hiess die Beschwerde in zwei Nebenpunkten teilweise gut: Erstens korrigierte es die als landwirtschaftliche Nutzfläche veranschlagte Fläche von 1'277 a auf 1'267 a und die als Sömmerungsfläche anerkannte Fläche von 842 a auf 852 a; zweitens berichtigte es bestimmte im Einspracheentscheid enthaltene Parzellenangaben. Im Übrigen, und damit auch im Hauptpunkt, wies das Bundesverwaltungsgericht die Beschwerde jedoch ab.
E. Dagegen erhob X._ am 7. Mai 2010 Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er stellt im Wesentlichen den Antrag, die ganze Produktionsstätte B._ im Umfang von 2'119 a als landwirtschaftliche Nutzfläche anzuerkennen und dementsprechend die landwirtschaftsrechtlichen Beiträge für die Beitragsjahre 2006 und 2007 auf der Grundlage von insgesamt 3'142 a landwirtschaftlicher Nutzfläche auszurichten bzw. die Dienststelle (lawa) anzuweisen, die Beiträge mit Zinsen auf dieser Grundlage neu zu berechnen und auszurichten. Eventuell sei die Sache im Sinne der Erwägungen zur Neubeurteilung an die Dienststelle (lawa) zurückzuweisen. Zur Begründung wird im Wesentlichen geltend gemacht, der Entscheid verstosse gegen die bundesrechtlichen Bestimmungen über die Ermittlung der landwirtschaftlichen Nutzfläche sowie gegen die entsprechende bundesrechtlich festgelegte Kompetenzordnung; überdies sei er willkürlich und verletze den Anspruch von X._ auf rechtliches Gehör sowie den verfassungsrechtlichen Grundsatz von Treu und Glauben.
F. Die Dienststelle (lawa) und das Bundesamt für Landwirtschaft schliessen auf Abweisung der Beschwerde. Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet.
G. Mit Eingabe vom 26. Oktober 2010 hat sich der Beschwerdeführer zu den behördlichen Stellungnahmen geäussert.

Erwägungen:
1. 1.1 Angefochten ist ein Urteil über die Ausrichtung von Direktzahlungen gemäss Art. 70 Abs. 1 des Bundesgesetzes vom 29. April 1998 über die Landwirtschaft (Landwirtschaftsgesetz, LwG; SR 910.1). Es handelt sich um einen Endentscheid des Bundesverwaltungsgerichts in einer Angelegenheit des öffentlichen Rechts, gegen das die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht grundsätzlich zulässig ist (vgl. Art. 82 lit. a und Art. 86 Abs. 1 lit. a in Verbindung mit <ref-law>). Auf die fraglichen bundesrechtlich geregelten Beiträge besteht Anspruch, und es gilt insofern kein gesetzlicher Ausschlussgrund (vgl. Art. 83 lit. k und s BGG). Der Beschwerdeführer hat vor der Vorinstanz am Verfahren teilgenommen, ist als direkter Adressat des angefochtenen Urteils von diesem besonders berührt und hat ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung, weshalb er zur Beschwerde berechtigt ist (vgl. <ref-law>).
1.2 Mit Beschwerde an das Bundesgericht kann im Wesentlichen, von hier nicht interessierenden anderen Beschwerdegründen abgesehen, die Verletzung von Bundesrecht gerügt werden (vgl. <ref-law>). Dazu zählt auch das Bundesverfassungsrecht. Das Bundesgericht wendet das Recht grundsätzlich von Amtes wegen an, prüft die bei ihm angefochtenen Entscheide aber nur auf Rechtsverletzungen hin, die von den Beschwerdeführern geltend gemacht werden (vgl. <ref-law>).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, wie ihn die Vorinstanz festgestellt hat (<ref-law>). Es kann diesen bloss berichtigen oder ergänzen, wenn er offensichtlich unrichtig, unvollständig oder in Verletzung wesentlicher Verfahrensrechte ermittelt wurde (vgl. Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
2. 2.1 Der Beschwerdeführer bewirtschaftet zusätzlich zu den 1'023 a landwirtschaftlicher Nutzfläche seines Stammbetriebes im luzernischen A._ im rund 74 km entfernten solothurnischen B._ 2'119 a Wiesen und Weiden. Strittig ist, ob davon für die ihm auszurichtenden Direktzahlungen für die Jahre 2006 und 2007 nur die als Mähwiese genutzte Fläche, deren Ertrag aus der Schnittnutzung nicht vor Ort zur Zu- oder Ausfütterung verwendet, sondern nach A._ gebracht wird, oder auch die als Dauerweide genutzte Fläche als landwirtschaftliche Nutzfläche anzuerkennen ist.
2.2 Nach <ref-law> richtet der Bund Bewirtschaftern von bodenbewirtschaftenden bäuerlichen Betrieben unter der Voraussetzung des ökologischen Leistungsnachweises allgemeine Direktzahlungen, Ökobeiträge und Ethobeiträge aus.
Zu Direktzahlungen berechtigt, mit hier nicht interessierenden Ausnahmen, im Wesentlichen die landwirtschaftliche Nutzfläche (Art. 4 Abs. 1 der Verordnung vom 7. Dezember 1998 über die Direktzahlungen an die Landwirtschaft, Direktzahlungsverordnung, DZV; SR 910.13; in der hier anwendbaren ursprünglichen Fassung [AS 1999 229]). Als landwirtschaftliche Nutzfläche gilt die einem Betrieb zugeordnete, für den Pflanzenbau genutzte Fläche ohne die Sömmerungsfläche, die dem Bewirtschafter ganzjährig zur Verfügung steht (Art. 14 Abs. 1 der Verordnung vom 7. Dezember 1998 über landwirtschaftliche Begriffe und die Anerkennung von Betriebsformen, Landwirtschaftliche Begriffsverordnung, LBV; SR 910.91). Für den Begriff der Sömmerungsfläche wird dabei auf Art. 24 LBV verwiesen.
Die Beiträge werden aufgrund der Verhältnisse am Stichtag festgesetzt (vgl. Art. 67 Abs. 1 DZV). Als Stichtag gilt das Datum für die Erhebung von landwirtschaftlichen Daten. Gemäss Verordnungsrecht handelt es sich um anfangs Mai. Das genaue Stichdatum wird vom Bundesamt für Landwirtschaft festgesetzt (vgl. Art. 67 Abs. 2 DZV in Verbindung mit Art. 5 Abs. 1 der Verordnung vom 7. Dezember 1998 über die Erhebung und Bewirtschaftung von landwirtschaftlichen Daten, Landwirtschaftliche Datenverordnung; SR 919.117.71). Es ist hier nicht strittig, dass sich die zu leistenden Beiträge nach den Verhältnissen von Anfang Mai 2006 und Anfang Mai 2007 richten.
2.3 Gemäss <ref-law> unterteilt das Bundesamt für Landwirtschaft die landwirtschaftlich genutzte Fläche nach Massgabe der Erschwernisse in Zonen und führt hierzu einen Produktionskataster. Nach Art. 1 Abs. 1 der Verordnung vom 7. Dezember 1998 über den landwirtschaftlichen Produktionskataster und die Ausscheidung von Zonen (Landwirtschaftliche Zonen-Verordnung; SR 912.1) in der hier anwendbaren ursprünglichen Fassung (AS 1999 404) umfasst die landwirtschaftlich genutzte Fläche das Sömmerungsgebiet und die landwirtschaftliche Nutzfläche, die sich wiederum in das Berg- und das Talgebiet unterteilt (vgl. Art. 1 Abs. 2-4 der Landwirtschaftlichen Zonen-Verordnung in der ursprünglichen Fassung).
2.4 Nach Art. 24 Abs. 2 LBV gelten die Flächen im Sömmerungsgebiet gemäss Art. 1 Abs. 1 der Landwirtschaftlichen Zonen-Verordnung als Sömmerungsflächen, auch wenn sie anders genutzt werden. Das heisst, dass selbst eine (intensivere) Bewirtschaftung von Sömmerungsflächen, die grundsätzlich die Kriterien von Art. 14 LBV erfüllt, nicht zur Anerkennung einer landwirtschaftlichen Nutzfläche führt. Dem entspricht, dass bereits Art. 14 Abs. 1 LBV die Sömmerungsflächen (mit Verweis auf Art. 24 LBV) von der landwirtschaftlichen Nutzfläche ausnimmt. Bei den Flächen im Sömmerungsgebiet kommt es mithin einzig auf die Zoneneinteilung an. Für die landwirtschaftliche Nutzfläche ist hingegen nicht zwingend an die Zoneneinteilung anzuknüpfen. Das Verordnungsrecht, insbesondere Art. 14 LBV, kennt keinen entsprechenden Vorbehalt. Wie das Bundesamt für Landwirtschaft in seiner Vernehmlassung an das Bundesgericht in nachvollziehbarer Weise darlegt, sollen vom Betriebszentrum entfernte Dauerweiden, die analog zu Sömmerungsgebieten bewirtschaftet werden, nicht durch höhere Beiträge gefördert werden, um nicht einen Anreiz für eine Sömmerung ausserhalb des traditionellen Sömmerungsgebiets zu schaffen. Damit widerspricht es dem Bundesrecht nicht, bei der Beurteilung von Grundstücken, die der landwirtschaftlichen Nutzfläche zuzuordnen sind, auf die Art ihrer Bewirtschaftung abzustellen. Auch Flächen, die nicht im Sömmerungsgebiet liegen, können daher Sömmerungsflächen gemäss Art. 24 Abs. 1 LBV sein.
2.5 Für den Entscheid über die Beitragsberechtigung und für die Festsetzung der Beiträge nach der Direktzahlungsverordnung sowie für den Vollzug der Landwirtschaftlichen Begriffsverordnung ist der Kanton zuständig (Art. 72 Abs. 1 in Verbindung mit Art. 67 DZV; Art. 33 Abs. 1 LBV). Befindet sich die landwirtschaftlich genutzte Fläche eines Betriebs in mehreren Kantonen, entscheidet praxisgemäss der Kanton, in dem sich der Heimbetrieb (das Betriebszentrum) befindet. Dies erscheint ohne weiteres sinnvoll. Der Heimbetrieb des Beschwerdeführers liegt im Kanton Luzern, dessen zuständige Dienststelle demnach über die hier fraglichen Beiträge der Jahre 2006 und 2007 für die im Kanton Solothurn bewirtschafteten Nutzungsflächen zu befinden hatte. Folgerichtig reichte der Beschwerdeführer selbst das Beitragsgesuch beim Kanton Luzern ein, und die dortige Dienststelle (lawa) nahm die entsprechenden Kontrollen und Berechnungen vor. Dass dabei das solothurnische Landwirtschaftsamt zur Feststellung des Sachverhalts und insbesondere zur faktischen Bestimmung der Grösse der dort gelegenen Nutzungsflächen beigezogen wurde, ist ein normaler Vorgang der interkantonalen Amtshilfe, wozu der Kanton Solothurn nur schon aufgrund von <ref-law> verpflichtet ist. Durch die Einstufung des strittigen Nutzungsgebiets als Sömmerungsfläche nahm die luzernische Dienststelle (lawa) entgegen der Auffassung des Beschwerdeführers keine Änderung der Zoneneinteilung vor, für die einzig das Bundesamt für Landwirtschaft zuständig wäre (vgl. <ref-law> sowie Art. 4-6 der Landwirtschaftlichen Zonen-Verordnung). Vielmehr entschied die kantonale Dienststelle (lawa) gestützt auf die Art der Bewirtschaftung einzig über die Berechnungsgrundlagen der zu leistenden Direktzahlungsbeiträge. Nur in diesem Zusammenhang beurteilten die Vorinstanzen die fraglichen Nutzungsflächen demnach als Sömmerungsflächen. Gehören diese mithin weiterhin der Bergzone I und nicht dem Sömmerungsgebiet an, hat das kantonale Amt seine Kompetenzen nicht überschritten, und ist das Bundesverwaltungsgericht demnach zu Recht nicht von einem Verstoss gegen die bundesrechtliche Zuständigkeitsordnung ausgegangen.
3. 3.1 Nach Art. 14 Abs. 1 LBV gilt als landwirtschaftliche Nutzfläche nur der Boden, der dem Bewirtschafter ganzjährig zur Verfügung steht. Gemeint ist damit in erster Linie die faktische Abgrenzung zu den Sömmerungsflächen und ähnlichen Verhältnissen mit nicht ganzjähriger Bewirtschaftung (<ref-ruling> E. 3.2 S. 292). Gleichzeitig besteht eine gewisse Kongruenz zur Definition des landwirtschaftlichen Betriebes in Art. 6 LBV, der ebenfalls eine ganzjährige Bewirtschaftung voraussetzt (Art. 6 Abs. 1 lit. e LBV). Nach den Weisungen und der Praxis des Bundesamts für Landwirtschaft gelten Produktionsstätten, die auf Weidenutzung ausgerichtet sind, oder Weideflächen nur dann als ganzjährig bewirtschaftet, wenn sie sich im ortsüblichen Bewirtschaftungsbereich, jedenfalls aber in höchstens 15 km Fahrdistanz vom Heimbetrieb (Betriebszentrum) befinden sowie wenn sie vorwiegend mit eigenen Tieren bestossen werden. Folgerichtig zählen Weiden, die in erster Linie der Sömmerung fremder Tiere dienen und Weiden, die ausserhalb des ortsüblichen Bewirtschaftungsbereichs oder in mehr als 15 km Fahrdistanz vom Betriebszentrum liegen, selbst dann zu den Sömmerungsweiden bzw. stellen Sömmerungsbetriebe dar, wenn sie sich nicht im zonendefinierten Sömmerungsgebiet befinden.
3.2 Verwaltungsinterne Weisungen binden die Gerichte zwar nicht; ihre Anwendung im Einzelfall ist aber nicht zu beanstanden, soweit dabei das übergeordnete Recht eingehalten wird (vgl. <ref-ruling> E. 3c S. 41 f.). Sie können im Gegenteil im Hinblick auf eine rechtsgleiche Rechtsanwendung und zur Schaffung von Rechtssicherheit sinnvoll sein. Die hier strittige, offenbar langjährige Praxis berücksichtigt, dass für landwirtschaftliche Nutzflächen mit Blick auf die Erhaltung und Pflege der Kulturlandschaft wesentlich höhere Beiträge ausgerichtet werden als für das Sömmerungsgebiet. Daraus mit den Vorinstanzen zu schliessen, dass Kulturen, die zur landwirtschaftlichen Nutzfläche gehören, die aber gleich bewirtschaftet werden wie das Sömmerungsgebiet, als Sömmerungsflächen auch gleiche Beiträge wie diese erhalten und nicht darüber hinaus unterstützt werden sollen, steht im Einklang mit dem Zweck der gesetzlichen Differenzierung der Beiträge nach der jeweiligen landwirtschaftlichen Nutzung. Unerheblich ist, ob das wörtlich mit dem Text von Abs. 24 Abs. 1 LBV übereinstimmt, ist dieser doch an der gesetzlichen Zielsetzung auszulegen, Dauerweiden ausserhalb des ortsüblichen Bewirtschaftungskreises, die analog zu Sömmerungsgebieten bewirtschaftet werden, nicht durch höhere Beiträge zu fördern (vgl. E. 2.4). Damit ist nicht ersichtlich, dass die fraglichen Weisungen und die entsprechende Praxis des Bundesamtes grundsätzlich gegen höherrangiges Recht verstossen würden, ohne dass angesichts der hier vorliegenden Entfernung zwischen Heimbetrieb und Sömmerungsfläche von 74 km konkret darüber zu befinden ist, wie flexibel oder strikt die Grenzziehung von 15 km zu handhaben ist.
3.3 Die Vorinstanz hat die Art der Bewirtschaftung der fraglichen Nutzflächen in B._ durch den Beschwerdeführer in den hier wesentlichen Jahren 2006 und 2007 für das Bundesgericht verbindlich festgestellt (vgl. E. 1.3) Daraus ergibt sich eine nicht ganzjährige Bewirtschaftung, die derjenigen im Sömmerungsgebiet gleich kommt. Die Vorinstanzen durften dieses Nutzland somit als Sömmerungsfläche einstufen.
3.4 Der angefochtene Entscheid verletzt demnach das Landwirtschaftsrecht des Bundes nicht und ist insofern erst recht nicht willkürlich gemäss <ref-law>.
4. 4.1 Der Beschwerdeführer beruft sich auf den Grundsatz von Treu und Glauben nach Art. 9 und <ref-law>. Während der Jahre 2000 bis 2005 habe er für die Bewirtschaftung seiner damaligen im Kanton Solothurn gelegenen Flächen von 859 a Beiträge für landwirtschaftliche Nutzflächen und nicht bloss für Sömmerungsflächen erhalten. Die seit dem Jahre 2006 nach der entsprechenden Ausweitung bewirtschaftete Gesamtfläche im Kanton Solothurn von 2'119 a lasse sich nur wirtschaftlich nutzen, wenn er dafür die höheren Direktzahlungen für landwirtschaftliche Nutzflächen erhalte. Dass sein Betriebskonzept seit dem Jahre 2000 darauf beruhe, habe den Behörden bekannt gewesen sein müssen. Er habe sich bei ihnen sowohl im Jahre 1999 als auch im Jahre 2005 entsprechend erkundigt.
4.2 Wie das Bundesamt für Landwirtschaft in seiner Vernehmlassung ausführt, stellen die Behörden bei der Festlegung von Direktbeiträgen regelmässig auf die Angaben der Gesuchsteller ab. Das geschah für die Jahre 2000 bis 2005 auch hier. Eine Überprüfung der Angaben findet nur von Zeit zu Zeit oder, wenn dafür ein besonderer Grund besteht, statt, namentlich wenn sich die massgeblichen Daten wesentlich ändern. Im vorliegenden Fall veranlasste die Übernahme von vorher verpachteten Parzellen im Umfang von mehreren Hektaren im Jahre 2006 das luzernische Landwirtschaftsamt, die Bewirtschaftung sämtlicher Flächen in B._ zu überprüfen. Dazu bestand umso mehr Grund, als sich die Flächen in einer Entfernung von mehr als 70 km vom Heimbetrieb (Betriebszentrum) befinden. Der Beschwerdeführer will jedoch angeblich seine Mutterkuhhaltung in den Jahren 2000 bis 2005 lediglich deshalb aufgebaut haben, weil er seit jeher mit den höheren Direktzahlungsbeiträgen gerechnet habe. Dieses Betriebskonzept habe er dem zuständigen Mitarbeiter des solothurnischen Landwirtschaftsamtes mitgeteilt, als er sich dort im Jahre 1999 über die anrechenbaren Flächen erkundigt habe, und dieser habe die Dienststelle (lawa) entsprechend informiert. In den Akten befindet sich aber weder ein Beleg dafür, dass seine Anfrage zu den Flächenangaben im Jahre 1999 mit einem Betriebskonzept hinterlegt war noch dass dies im Jahre 2005 zutraf. Aus der früheren beitragsrechtlichen Einschätzung der 859 a, die möglicherweise zu unberechtigten bzw. überhöhten Direktzahlungen führten, kann der Beschwerdeführer daher nichts zu seinen Gunsten ableiten. Dasselbe gilt, soweit der Auskunft der solothurnischen Behörde entnommen werden kann, wie die übrigen Flächen aufgrund der vorherigen Bewirtschaftung durch den früheren Pächter zu beurteilen waren bzw. eingestuft wurden. Immerhin äussert sich das entsprechende Schreiben des solothurnischen Amtes für Landwirtschaft vom 3. Mai 2000 auch zu den in der Folge durch den Beschwerdeführer bewirtschafteten Flächen, wobei unter anderem der Begriff der landwirtschaftlichen Nutzflächen Anwendung findet. Dabei konnte es sich aber nur um eine zonenmässige Beschreibung des fraglichen Agrargebiets handeln. Da es für die Direktzahlungsbeiträge auf die faktische Nutzung und nicht auf die zonenrechtliche Einstufung ankommt, lassen sich daraus keine Rückschlüsse auf die Rechtslage aufgrund der späteren tatsächlichen Bewirtschaftung durch den Beschwerdeführer ziehen.
4.3 Hinzu kommt, dass das Landwirtschaftsamt des Kantons Solothurn wegen der Anknüpfung der Behördenkompetenz an den Ort des Heimbetriebs (Betriebszentrums) gar nicht zuständig war, verbindlich über die an den Beschwerdeführer zu leistenden Beiträge Auskunft zu geben. Das galt im Jahr 2000 für die damals vom Beschwerdeführer in B._ bewirtschafteten 859 a und im Jahre 2005 für die gesamten von ihm ab 2006 dort genutzten 2'119 a. Damit konnte das solothurnische Amt auch keine die luzernische Dienststelle (lawa) bindenden Auskünfte über die zukünftige beitragsrechtliche Behandlung der dortigen Agrarflächen erteilen, sondern verbindlich lediglich Aussagen zu den Flächenmassen und allenfalls zur früheren Rechtslage machen, die für die vorherige Pachtnutzung galt. Diese Aussagen vermögen daher mangels Zuständigkeit keine Vertrauensgrundlage für die spätere Nutzung zu schaffen, auf die sich der Beschwerdeführer berufen könnte. Dass die Vorinstanz insoweit in antizipierter Beweiswürdigung auf eine Befragung der damals für das solothurnische Amt handelnden Person verzichtete, ist somit mangels Massgeblichkeit und, da der Beschwerdeführer seine Argumentation vor allem auf die angeblichen Auskünfte im Jahre 2000 aufbaut, angesichts des seitherigen Zeitablaufs von rund zehn Jahren nicht zu beanstanden.
4.4 Damit verletzte die Vorinstanz weder den Anspruch auf rechtliches Gehör des Beschwerdeführers nach <ref-law> noch den Grundsatz von Treu und Glauben nach Art. 9 bzw. <ref-law>.
5. Die Beschwerde erweist sich als unbegründet und ist abzuweisen.
Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 und Art. 65 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Dienststelle Landwirtschaft und Wald des Kantons Luzern, dem Bundesverwaltungsgericht, Abteilung II, und dem Eidgenössischen Volkswirtschaftsdepartement (den Behörden zusammen mit der Eingabe des Beschwerdeführers vom 26. Oktober 2010) schriftlich mitgeteilt.
Lausanne, 4. November 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Uebersax