Sachverhalt:
A. Am 2. Februar 2011 ordnete der Pflanzenschutzdienst des Bildungs- und Beratungszentrums Arenenberg an, dass bis zum 5. März 2011 vier grosse Birnbäume auf dem Grundstück von X._ in der Gemeinde Erlen wegen Feuerbrandbefalls zu roden und vorschriftsgemäss zu vernichten seien, unter Androhung der Ersatzvornahme durch Dritte für den Unterlassungsfall. Hiegegen wehrte sich X._ durch alle kantonalen Instanzen und schliesslich, am 6. April 2011, auch mit einer Beschwerde beim Bundesverwaltungsgericht.
B. Mit Zwischenverfügung vom 15. April 2011 lehnte es das Bundesverwaltungsgericht ab, die vom Regierungsrat des Kantons Thurgau in dieser Beschwerdesache entzogene aufschiebende Wirkung wieder herzustellen. Auf die dagegen erhobene Beschwerde in öffentlich-rechtlichen Angelegenheiten trat das Bundesgericht mit Urteil vom 20. Mai 2011 nicht ein (Verfahren 2C_411/2011).
Die vier Bäume wurden am 18. Mai 2011 gefällt.
C. Nachdem das Bundesverwaltungsgericht X._ das rechtliche Gehör gewährt hatte, schrieb es mit Verfügung vom 17. November 2011 das mit der Eingabe vom 6. April 2011 angehobene Beschwerdeverfahren als gegenstandslos geworden ab (Ziff. 1), auferlegte X._ die Verfahrenskosten von insgesamt Fr. 1'200.-- (Ziff. 2) und lehnte es ab, eine Parteientschädigung auszurichten (Ziff. 3). Es erwog im Wesentlichen, das Rechtsschutzinteresse von X._ an der Behandlung seiner Beschwerde sei dahingefallen, und die Voraussetzungen für den Verzicht auf ein aktuelles und praktisches Interesse an der Beurteilung der Streitsache seien nicht gegeben.
D. Mit Eingabe vom 3. Januar 2012 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit den Anträgen, den Abschreibungsentscheid des Bundesverwaltungsgerichts vom 17. November 2011 aufzuheben (Ziff. 1) und die Angelegenheit zum Entscheid in der Sache an dieses zurückzuweisen (Ziff. 2). Eventuell sei festzustellen, dass die Rodung der vier Bäume zu Unrecht erfolgt sei und der Beschwerdeführer Anspruch auf vollumfänglichen Ersatz des ihm dadurch entstandenen Schadens habe (Ziff. 3).
Das Bildungs- und Beratungszentrum Arenenberg, das Departement für Inneres und Volkswirtschaft und die Staatskanzlei (für den Regierungsrat) des Kantons Thurgau beantragen, die Beschwerde abzuweisen. Das Bundesverwaltungsgericht verzichtet auf Vernehmlassung, ebenso das Bundesamt für Landwirtschaft.

Erwägungen:
1. 1.1 Dem angefochtenen verfahrensabschliessenden (Art. 90 BGG) Abschreibungsentscheid des Bundesverwaltungsgerichts (Art. 86 Abs. 1 lit. a BGG in Verbindung mit Art. 31 VGG und Art. 166 Abs. 2 des Bundesgesetzes vom 29. April 1998 über die Landwirtschaft, LwG, [SR 910.1]) liegt eine Streitsache in einer Angelegenheit des öffentlichen Rechts (Art. 82 lit. a BGG) zu Grunde, die unter keinen Ausschlussgrund gemäss Art. 83 BGG fällt. Das Rechtsmittel der Beschwerde in öffentlich-rechtlichen Angelegenheiten steht damit offen (<ref-ruling>, nicht publ. E. 1.1), und der Beschwerdeführer ist hierzu legitimiert (Art. 89 BGG).
1.2 Die Rechtsbegehren Ziff. 1 und 2 der Beschwerde (vorne lit. D) beziehen sich zwar auf den gesamten Abschreibungsentscheid einschliesslich der Kostenregelung (vgl. Ziff. 2 und 3 des Urteilsdispositivs, vorne lit. C). Diesbezüglich enthält die Beschwerde aber keine Begründung, so dass insoweit darauf nicht einzutreten ist (Art. 42 Abs. 1 und 2 BGG).
1.3 Nicht einzutreten ist auch auf das Rechtsbegehren Ziff. 3: Ein allfälliges Schadenersatzbegehren wegen willkürlichen Entzugs bzw. willkürlicher Nichtwiederherstellung der aufschiebenden Wirkung einer Beschwerde (gestützt auf Art. 55 Abs. 4 VwVG) wäre in einem separaten Staatshaftungsbegehren geltend zu machen (HANSJÖRG SEILER, in: Praxiskommentar zum Bundesgesetz über das Verwaltungsverfahren, Zürich 2009, Rz. 177 - 178 zu Art. 55). Ebenso wenig ist bereits über ein allfälliges Abfindungsbegehren gestützt auf Art. 156 LwG entschieden worden.
2. 2.1 Das Bundesverwaltungsgericht beurteilte die Eingabe des Beschwerdeführers vom 6. April 2011 (vorne lit. A) in einem Zeitpunkt, als die vier Hochstamm-Birnbäume bereits gefällt waren (vorne lit. B).
Zur Beschwerde ist gemäss Art. 48 Abs. 1 VwVG berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen hat oder keine Möglichkeit zur Teilnahme erhalten hat (lit. a), durch die angefochtene Verfügung besonders berührt ist (lit. b), und ein schutzwürdiges Interesse an deren Aufhebung oder Änderung hat (lit. c). Dieses Interesse muss im Allgemeinen nicht bloss bei Einreichung der Beschwerde, sondern auch noch im Zeitpunkt der Urteilsfällung bestehen (<ref-ruling> E. 1b). Es fehlt, wenn die dem Rechtssstreit zu Grunde liegende Sache untergegangen ist (vgl. S. 5 des angefochtenen Entscheides, mit Hinweisen).
Vorliegend ist unbestritten, dass das Streitobjekt im Zeitpunkt des angefochtenen Entscheides nicht mehr bestand und damit das aktuelle schutzwürdige Interesse (Art. 48 Abs. 1 lit. c VwVG) dahingefallen ist.
2.2 Nach der Rechtsprechung kann das Gericht ausnahmsweise auf das Erfordernis des aktuellen praktischen Interesses verzichten, namentlich wenn sich die mit der Beschwerde aufgeworfenen Fragen jederzeit und unter gleichen oder ähnlichen Umständen wieder stellen könnten, an ihrer Beantwortung wegen ihrer grundsätzlichen Bedeutung ein hinreichendes öffentliches Interesse besteht und eine rechtzeitige (bundes-)gerichtliche Prüfung im Einzelfall kaum je möglich wäre (vgl. <ref-ruling> E. 1; <ref-ruling> E. 2.2.). Das Gericht hat dabei ein gewisses (prozessuales) Ermessen. Dieser ausnahmsweise Verzicht auf das aktuelle praktische Interesse dient dem allgemeinen Interesse an richterlicher Klärung, nicht dem Interesse des Einzelnen, im konkreten Fall noch eine gerichtliche Beurteilung zu erhalten, die ihm aufgrund des Wegfalls des aktuellen Interesses doch nichts mehr nützen würde. Anderes gilt nur, wenn es um die Feststellung der Verletzung von Art. 5 Ziff. 3 bzw. Ziff. 4 EMRK geht (Anspruch des Untersuchungsgefangenen auf unverzügliche Vorführung vor einen Richter/Anspruch auf gerichtliche Beurteilung des Freiheitsentzugs innerhalb kurzer Frist), weil der Europäische Gerichtshof für Menschenrechte in solchen Fällen trotz Fehlens eines aktuellen Rechtsschutzinteresses eine materielle Beurteilung vornimmt (selbst wenn sich das Bundesgericht nicht dazu geäussert hat, vgl. Urteil des EGMR 4691/06 vom 2. Dezember 2010 i. S. Jusic gegen Schweiz sowie <ref-ruling> E. 4.3 bzw. <ref-ruling> E 1.3). In solchen Fällen - zumal entsprechende Feststellungen als Grundlage für konventionsrechtliche Entschädigungsbegehren (vgl. Art. 5 Ziff. 3-5 EMRK, <ref-ruling> E. 6 S. 303) dienen würden - müsste auch die Vorinstanz eine materielle Beurteilung vornehmen und dürfte die Sache nicht als gegenstandslos geworden abschreiben (Art. 111 Abs. 3 BGG; <ref-ruling> E. 4.1 S. 299).
2.3 Ein solcher Fall nach Art. 5 EMRK steht nicht zur Diskussion, ebenso wenig ein Entscheid als unmittelbare Grundlage für eine Entschädigung: Eine solche nach Art. 55 Abs. 4 VwVG setzt willkürliche Nichtwiederherstellung der aufschiebenden Wirkung voraus; die blosse allfällige Feststellung, die Beseitigungsverfügung vom 2. Februar 2011 betreffend die vier Hochstamm-Birnbäume wäre unrechtmässig gewesen, hilft dem Beschwerdeführer mit Bezug auf die Entschädigung nichts (vgl. auch vorne E. 1.3). Eine Abfindung nach Art. 156 LWG für Schäden infolge behördlicher Abwehrmassnahmen oder durch Desinfektion wird im Übrigen auch dann nach Billigkeit ausbezahlt, wenn die der betreffenden Massnahme zugrunde liegende Verfügung rechtmässig ist.
2.4 Das Bundesverwaltungsgericht hat dargelegt, dass es sich bereits in mehreren Urteilen mit der Frage des Feuerbrandbefalls von Obstbäumen auseinander gesetzt hat. Dies wird vom Beschwerdeführer nicht bestritten. Insoweit also ist eine gerichtliche Klärung der Frage erfolgt. Namentlich hat sich die Vorinstanz in ihrem Urteil B_7373/2007 vom 30. April 2008 (BVGE 2008/32) bereits auf das von ihr angeordnete Gutachten Bächtiger/Boos gestützt (auf welches sich der Beschwerdeführer auch im vorliegenden Verfahren beruft), und ausführlich dargelegt, unter welchen Umständen eine Rodung/Beseitigung von Feuerbrand befallener Bäume zulässig bzw. unzulässig ist (E. 8 des genannten Entscheides).
2.5 In der hier zu beurteilenden Beschwerdesache wird im Wesentlichen vorgetragen, die vom Bundesverwaltungsgericht in seinem Entscheid BVGE 2008/32 selber aufgestellen Kriterien hätten in casu gegen die Beseitigung der vier Hochstamm-Birnbäume gesprochen. Dies begründet aber nicht ein grundsätzliches Interesse an der erneuten Beurteilung der Sache in allgemeiner Hinsicht, auch dann nicht, wenn der streitige Rodungsentscheid von den gerichtlichen Präjudizien abweichen sollte. Der blosse Umstand, dass eine materielle Beurteilung der Angelegenheit trotz Beseitigung der Bäume im konkreten Fall allenfalls immer noch möglich wäre, bedeutet nicht, dass sie zwingend auch erfolgen müsste. Auch soweit der Beschwerdeführer in allgemeiner Weise die Bekämpfungsstrategie bei Feuerbrand in Frage stellt, bestand kein Anlass für das Bundesverwaltungsgericht, nach seinem erst vor kurzem ergangenen BVGE 2008/32 eine neue Grundsatzentscheidung zu treffen.
2.6 Es mag zutreffen, dass eine gerichtliche Beurteilung einer Rodungsverfügung wegen Feuerbrandbefalls oft nicht möglich ist, weil die kantonalen Vollzugsbehörden solchen Verfügungen regelmässig die aufschiebende Wirkung entziehen. Immerhin hat das Bundesverwaltungsgericht mit dem Urteil BVGE 2008/32 bewiesen, dass es gegebenenfalls selber aufschiebende Wirkung erteilt bzw. wieder herstellt und dann eine materielle Beurteilung vornimmt. Der Einwand, der Entzug der aufschiebenden Wirkung dürfe nicht - wie vorliegend geschehen - als Korrektiv für eine Verfahrensverschleppung eingesetzt werden, dringt sodann nicht durch: Vorliegend hat das Bundesverwaltungsgericht in seiner Zwischenverfügung vom 15. April 2011 (vorne lit. B) sehr sorgfältig und ausführlich, unter Berücksichtigung des Gutachtens Bächtiger/Boos und von BVGE 2008/32 begründet, weshalb es die aufschiebende Wirkung nicht wieder herstellte. Insofern besteht in allgemeiner Weise eine wirksame (potentielle) gerichtliche Überprüfung solcher Rodungs- bzw. Beseitigungsverfügungen und im konkreten Fall doch eine zumindest vorläufige gerichtliche Beurteilung.
2.7 Insgesamt war das Bundesverwaltungsgericht bei dieser Sachlage und aufgrund des ihm in solchen Fragen zuzugestehenden prozessualen Spielraums (vorne E. 2.2) nicht verpflichtet, die Beschwerde vom 6. April 2011 trotz Hinfalls des aktuellen Rechtsschutzinteresses materiell zu behandeln.
3. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Verfahrensausgang sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (Art. 65/66 BGG). Parteientschädigungen sind nicht auszurichten (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Bildungs- und Beratungszentrum Arenenberg, dem Departement für Inneres und Volkswirtschaft und dem Regierungsrat des Kantons Thurgau, dem Bundesverwaltungsgericht, Abteilung II, und dem Bundesamt für Landwirtschaft schriftlich mitgeteilt.
Lausanne, 25. April 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein