Erwägungen:
1. X._ ist Halter von Tieren der Rinder- und/oder Schafgattung. Er ersuchte am 8. Februar 2010 um Befreiung von der Pflicht, seine Tiere gegen die Blauzungenkrankheit impfen zu lassen. Am 12. Februar 2010 erliess der Kantonstierarzt der Urkantone die folgende Verfügung:
"1. Das Gesuch um Befreiung von der Impfpflicht gegen die Blauzungenkrankheit für das Jahr 2010 wird genehmigt und der Betrieb des Verfügungsadressaten damit von der Impfpflicht befreit.
2. Der Verfügungsadressat hat im Falle eines Ausbruchs der Blauzungenkrankheit in seinem ungeimpften Bestand keinen Anspruch auf Entschädigungsleistungen.
3. Der Verfügungsadressat ist verpflichtet, jeden Verdacht auf das Vorliegen der Tierseuche Blauzungenkrankheit in seinem Bestand umgehend zu melden.
4. Weitere Anordnungen im Falle einer sich verschlechternden Seuchenlage bleiben ausdrücklich vorbehalten.
5., Die Kosten der Verfügung von pauschal Fr. 45.00 inkl. Gebühren und Auslagen gehen zulasten des Verfügungsadressaten. ..."
Mit Entscheid vom 10. Juni 2010 wies der Kantonstierarzt der Urkantone die Einsprache von X._, womit dieser die Aufhebung der Ziffern 2 bis 5 der Verfügung vom 12. Februar 2010 beantragt hatte, ab, unter Auferlegung der Kosten des Einspracheverfahrens von Fr. 350.--.
Der Regierungsrat des Kantons Schwyz entschied am 17. November 2010 über die gegen den Einspracheentscheid erhobene Beschwerde. Er trat darauf nicht ein, soweit sie sich gegen die Ziffern 2 bis 4 richtete; er wies sie ab, soweit sie sich gegen die Kostenauflagen der Verfügung vom 12. Februar 2010 und des Einspracheentscheids vom 10. Juni 2010 richtete; die Kosten des regierungsrätlichen Verfahrens von Fr. 500.-- auferlegte er X._. Die gegen den Beschluss des Regierungsrats erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz am 17. Februar 2011 im Sinne der Erwägungen ab; die auf Fr. 1'000.-- festgesetzten Verfahrenskosten auferlegte es X._.
Dieser hat am 21. März 2011 beim Bundesgericht eine Beschwerde in öffentlich-rechtlichen Angelegenheiten eingereicht; er beantragt, der Entscheid des Verwaltungsgerichts sei aufzuheben und die Vorinstanzen seien zur Leistung des vollen Schadenersatzes zu verpflichten.
2. 2.1 Gemäss Art. 42 Abs. 1 und 2 BGG haben Rechtsschriften die Begehren und deren Begründung zu enthalten, wobei in der Begründung in gedrängter Form darzulegen ist, inwiefern der' angefochtene Akt Recht (schweizerisches Recht, Art. 95 BGG) verletze. Die Begründung muss sachbezogen sein, d.h. sich auf den Gegenstand des angefochtenen Entscheids begrenzen; erforderlich ist dabei, dass in gezielter Form auf die für dessen Ergebnis massgeblichen Erwägungen der Vorinstanz eingegangen wird.
2.2 Das angefochtene Urteil hat einerseits die Frage zum Gegenstand, ob der Regierungsrat auf die Beschwerde gegen den die Ziffern 2 - 4 seiner Verfügung vom 12. Februar 2010 bestätigenden Einspracheentscheid des Kantonstierarztes der Urkantone vom 10. Juni 2010 hätte eintreten müssen (E. 3), andererseits die Kostenauflage durch den Kantonstierarzt (E. 4).
2.2.1 Das Verwaltungsgericht hat den Nichteintretensentscheid des Regierungsrats bestätigt und dabei festgehalten, zur Anfechtung der Ziffern 2 - 4 der kantonstierärztlichen Verfügung vom 12. Februar 2010 fehle es dem Beschwerdeführer an einem Anfechtungsinteresse, weil damit keine Rechte und Pflichten begründet würden, sondern bloss wiedergegeben werde, was sich ohnehin unmittelbar aus der gesetzlichen Regelung ergebe. Die vom Beschwerdeführer dagegen erhobenen Einwendungen lassen sich dahingehend zusammenfassen, dass die Bürger nicht zwischen Verfügungen mit Verfügungscharakter und solchen ohne Verfügungscharakter unterscheiden könnten; Regierungsrat und Verwaltungsgericht hätten darauf hinwirken müssen, dass der Kantonstierarzt künftighin keine Verfügungen ohne Verfügungscharakter mehr erlassen dürfe; dies nicht getan zuhaben sei willkürlich. Diese Argumentation stösst ins Leere: Der Kantonstierarzt hat am 12. Februar 2010 durchaus eine Verfügung mit konkreten unmittelbaren Rechtswirkungen erlassen; hat er doch das Gesuch des Beschwerdeführers um Befreiung von der Impfpflicht gegen die Blauzungenkrankheit für, das Jahr 2010 genehmigt und dessen Betrieb damit von der Impfpflicht befreit (Ziff. 1 der Verfügung).
Dass er in die nachfolgenden Verfügungsziffern 2 - 4 Informationen einfliessen liess, denen der Regierungsrat und das Verwaltungsgericht Verfügungscharakter absprechen, ändert daran nichts. Es bleibt unerfindlich, was der Aufnahme solcher ergänzender Elemente in die Verfügung hätte entgegenstehen sollen. Sodann lässt sich den Ausführungen in der Beschwerdeschrift nicht entnehmen, inwiefern Regierungsrat bzw. Verwaltungsgericht mit ihrer rechtlichen Wertung der Natur der Verfügungsziffern 2 - 4 in Willkür verfallen wären oder sonstwie schweizerisches Recht verletzt hätten.
2.2.2 Was die Kostenauflage betrifft, hat sich das Verwaltungsgericht mit der diesbezüglich erforderlichen gesetzlichen Grundlage befasst und hinsichtlich Kostendeckungs- und Aequivalenzprinzip auf die Darlegungen des Regierungsrats verwiesen. Der Beschwerdeführer bemängelt auch diesen Entscheidpunkt vor allem mit der an der Sache vorbeigehenden Bemerkung, der Kantonstierarzt habe keine Verfügung getroffen. Seinen abschliessenden Ausführungen auf S. 6 der Beschwerdeschrift zu den Anforderungen, denen Gebühren genügen müssen, lässt sich auch nicht ansatzweise entnehmen, inwiefern die diesbezüglichen umfassenden Erwägungen des Verwaltungsgerichts mit schweizerischem Recht nicht vereinbar wären.
2.3 Die Beschwerde enthält mithin offensichtlich keine genügende Begründung (Art. 108 Abs. 1 lit. b BGG), und es ist darauf mit Entscheid des Einzelrichters, ohne Schriftenwechsel oder andere Instruktionsmassnahmen, im vereinfachten Verfahren gemäss Art. 108 BGG nicht einzutreten.
Die Gerichtskosten (Art. 65 BGG) sind entsprechend dem Verfahrensausgang dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 erster Satz BGG).
Demnach erkennt der Präsident:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 600.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Schwyz, Kammer III, und dem Bundesamt für Landwirtschaft schriftlich mitgeteilt.
Lausanne, 25. März 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Feller