Sachverhalt: A. A.a. Seit dem Jahre 2004 vermuteten die Thurgauer Veterinärbehörden, dass Landwirt A._ (geb. 1953) seinen Kühen nicht genügend Auslauf gewähre und gegen die Tierschutzgesetzgebung verstosse. Aus der Bevölkerung kamen ebenfalls entsprechende Hinweise an die Kantonspolizei. Aufgrund deren Mitteilung vom 17. August 2010 liess der Kantonstierarzt und Amtsleiter des Veterinäramts, am 24. August 2010 auf dem Hof von A._ eine Kontrolle durchführen. Dabei wurden zwar Tierschutzmängel festgestellt, doch konnten mit Bezug auf den Auslauf keine Verfehlungen des Tierhalters nachgewiesen werden. Der Kantonstierarzt gelangte daher mit Schreiben vom 25. August 2010 an die Frau Gemeindeammann der Gemeinde U._, informierte sie über "gravierende Tierschutzmängel" auf dem Hof von A._ und ersuchte um dessen Beobachtung. Ausserdem stellte er am 20. September 2010 beim Bezirksamt Arbon einen Antrag auf Videoüberwachung des Hofes, welche vom Amt zwar angeordnet, vom Präsidenten der Anklagekammer am 10. Dezember 2010 dann aber untersagt wurde. Daraufhin stellte die Staatsanwaltschaft Bischofszell ein gegen A._ zwischenzeitlich eröffnetes Strafverfahren am 10. März 2011 ein. A.b. Über seinen Rechtsvertreter verlangte A._ diesbezüglich Akteneinsicht. Ersterer zeigte daraufhin den Kantonstierarzt am 20. Mai 2011 bei der Staatsanwaltschaft Frauenfeld wegen Amtsgeheimnisverletzung an. Eine solche erblickte er im Schreiben vom 25. August 2010 des Kantonstierarztes an die Frau Gemeindeammann von U._. Der Kantonstierarzt wurde von der Staatsanwaltschaft erstmals am 20. März 2012 mit der Strafanzeige konfrontiert. Am 4. Juni 2012 schrieb ihm der zuständige Regierungsrat (sein direkter Vorgesetzter) u.a.: "Eine Verletzung der Auslaufvorschriften ist ein schwerwiegender Verstoss, der eine Tierquälerei darstellt. Da die Überprüfung eines solchen Vorwurfes sehr schwierig ist, war der Beizug der örtlichen Gemeinde für die Sachverhaltsermittlung gerechtfertigt. Ich kann Ihnen nachträglich schriftlich bestätigen, dass dieses Vorgehen vorgängig mit mir abgesprochen worden war. In diesem Sinne hatte ich Sie als Ihr direkter Vorgesetzter schon damals mündlich vom Amtsgeheimnis entbunden, falls im Rahmen dieser Zusammenarbeit mit der Gemeinde ein Amtsgeheimnis hätte offenbart werden müssen." An einer zweiten Einvernahme am 16. August 2012 gab der Kantonstierarzt auf Frage des Staatsanwalts, ob das Amtsgeheimnis beim Gespräch mit dem zuständigen Regierungsrat ein Thema gewesen sei, zu Protokoll: "So konkret, ob dies eine Amtsgeheimnisverletzung ist, haben wir nicht diskutiert. Wir haben über den Fall A._ gesprochen und besprochen, wie man die Sache mit A._ abklären kann. (....)." Weiter sagte er dem Staatsanwalt: "Ja. Der Fall A._ ist speziell. A._ ist ein schwieriger Mensch. Er umgeht die Vorschriften bezüglich des Auslaufes geschickt. (...)." Am 20. August 2012 teilte die Staatsanwaltschaft mit, die Strafuntersuchung gegen den Kantonstierarzt sei abgeschlossen und es sei beabsichtigt, das Verfahren zur Anklage zu bringen. B. Drei Wochen später, am 13. September 2012 nahm der Kantonstierarzt zusammen mit dem Tierschutzbeauftragten in Begleitung von zwei Polizisten eine unangemeldete Kontrolle auf dem Hof von A._ vor. Anderntags erliess das Veterinäramt eine Verfügung - unterzeichnet vom Kantonstierarzt - wonach A._ u.a. verpflichtet wurde, "die Klauen all seiner Kühe durch einen Klauenschneider schneiden zu lassen und das kranke Tier CH (...) schlachten oder euthanasieren zu lassen". Einem allfälligen Rekurs gegen diese Verfügung entzog der Kantonstierarzt die aufschiebende Wirkung. Gegen diese Verfügung erhob A._ umgehend - am 17. September 2012 - Rekurs beim Departement für Inneres und Volkswirtschaft des Kantons Thurgau, beantragte u.a. deren Aufhebung und verlangte, dass "der Kantonstierarzt (...) von diesem wie auch von jedem künftigen Verfahren gegen A._ wegen Befangenheit zu entbinden" sei bzw. in den Ausstand zu treten habe. Weiter verlangte er auch den Ausstand des zuständigen Regierungsrates - wegen Vorbefassung -, sollte dieser in die Rekursbehandlung involviert werden. Am 12. Oktober 2012 erliess das Veterinäramt eine weitere Verfügung, wiederum unterzeichnet vom Kantonstierarzt. Darin wurde u.a. angeordnet, wie oft den Rindern auf dem Hof von A._ Auslauf zu gewähren ist. Zudem wurde untersagt, nach dem 1. November 2012 noch Tiere auf dem Jungviehläger im Kuhstall zu halten. A._ wurde des Weiteren verpflichtet, den Kuhstall mit elektrischem Licht zu beleuchten, die Buchten des Kälberstalls zu öffnen und allen Kälbern dauernd frisches Trinkwasser zur Verfügung zu stellen. Ferner wurde er verpflichtet, jährlich zwei Mal bestätigen zu lassen, dass die Klauen aller Kühe geschnitten worden seien. In der genannten Verfügung wurde darüber hinaus darauf hingewiesen, dass das Veterinäramt Strafanzeige gegen A._ wegen Widerhandlungen gegen Vorschriften der Tierschutz-, Tierseuchen- und Heilmittelgesetzgebung erstatte. A._ erhob auch gegen diese Verfügung umgehend Rekurs beim Departement und verlangte zudem die unentgeltliche Rechtspflege. Mit Zwischenentscheid vom 29. Oktober 2012 - unterzeichnet vom zuständigen Regierungsrat - vereinigte das Departement für Inneres und Volkswirtschaft die beiden Verfahren und wies das Gesuch um unentgeltliche Rechtspflege ab. Nachdem A._ den einverlangten Kostenvorschuss von Fr. 1'000.-- bezahlt hatte, instruierte das Departement das Verfahren und wies die Rekurse am 15. April 2013 ab. Es kam in seinem Entscheid - wiederum unterzeichnet vom zuständigen Regierungsrat - zum Schluss, der Kantonstierarzt gelte nicht als befangen; materiell erachtete es die Rekurse als unbegründet. Den Antrag, den zuständigen Regierungsrat wegen Vorbefassung als befangen zu erklären, hatte es nicht behandelt. Mit Urteil vom 4. September 2013 wies das Verwaltungsgericht des Kantons Thurgau eine gegen den Departementsentscheid gerichtete Beschwerde ebenfalls ab. C. Mit Eingabe vom 26. Oktober 2013 führt A._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten und Verfassungsbeschwerde mit den Anträgen, das letztgenannte Urteil sowie die ihm vorangegangenen Verfügungen aufzuheben und festzustellen, dass der Kantonstierarzt und sein direkter Vorgesetzter in den Ausstand zu treten hätten; eventuell sei die Angelegenheit an die Vorinstanz zurückzuweisen. Das Veterinäramt, das Departement für Inneres und Volkswirtschaft sowie das Verwaltungsgericht des Kantons Thurgau beantragen Abweisung der Beschwerde. A._ hat sich mit Eingaben vom 18. Januar und 23. Februar 2014 noch einmal geäussert.