Sachverhalt: A. Am 2. Februar 2011 ordnete der Pflanzenschutzdienst des Bildungs- und Beratungszentrums Arenenberg an, dass bis zum 5. März 2011 vier grosse Birnbäume auf dem Grundstück von X._ in der Gemeinde Erlen wegen Feuerbrandbefalls zu roden und vorschriftsgemäss zu vernichten seien, unter Androhung der Ersatzvornahme durch Dritte für den Unterlassungsfall. Hiegegen wehrte sich X._ durch alle kantonalen Instanzen und schliesslich, am 6. April 2011, auch mit einer Beschwerde beim Bundesverwaltungsgericht. B. Mit Zwischenverfügung vom 15. April 2011 lehnte es das Bundesverwaltungsgericht ab, die vom Regierungsrat des Kantons Thurgau in dieser Beschwerdesache entzogene aufschiebende Wirkung wieder herzustellen. Auf die dagegen erhobene Beschwerde in öffentlich-rechtlichen Angelegenheiten trat das Bundesgericht mit Urteil vom 20. Mai 2011 nicht ein (Verfahren 2C_411/2011). Die vier Bäume wurden am 18. Mai 2011 gefällt. C. Nachdem das Bundesverwaltungsgericht X._ das rechtliche Gehör gewährt hatte, schrieb es mit Verfügung vom 17. November 2011 das mit der Eingabe vom 6. April 2011 angehobene Beschwerdeverfahren als gegenstandslos geworden ab (Ziff. 1), auferlegte X._ die Verfahrenskosten von insgesamt Fr. 1'200.-- (Ziff. 2) und lehnte es ab, eine Parteientschädigung auszurichten (Ziff. 3). Es erwog im Wesentlichen, das Rechtsschutzinteresse von X._ an der Behandlung seiner Beschwerde sei dahingefallen, und die Voraussetzungen für den Verzicht auf ein aktuelles und praktisches Interesse an der Beurteilung der Streitsache seien nicht gegeben. D. Mit Eingabe vom 3. Januar 2012 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit den Anträgen, den Abschreibungsentscheid des Bundesverwaltungsgerichts vom 17. November 2011 aufzuheben (Ziff. 1) und die Angelegenheit zum Entscheid in der Sache an dieses zurückzuweisen (Ziff. 2). Eventuell sei festzustellen, dass die Rodung der vier Bäume zu Unrecht erfolgt sei und der Beschwerdeführer Anspruch auf vollumfänglichen Ersatz des ihm dadurch entstandenen Schadens habe (Ziff. 3). Das Bildungs- und Beratungszentrum Arenenberg, das Departement für Inneres und Volkswirtschaft und die Staatskanzlei (für den Regierungsrat) des Kantons Thurgau beantragen, die Beschwerde abzuweisen. Das Bundesverwaltungsgericht verzichtet auf Vernehmlassung, ebenso das Bundesamt für Landwirtschaft.