Sachverhalt: A. X._ führt einen Landwirtschaftsbetrieb im Weiler W._, auf welchem er u.a. Rindvieh und Pferde hält. Am 6. März 2007 führte das Veterinäramt des Kantons Thurgau auf dem Betrieb eine Kontrolle durch und forderte in der Folge mit Verfügung vom 4. April 2007 X._ auf, alle Tiere gemäss den Tierschutzvorschriften zu halten. Am 28. April 2009 führte das Veterinäramt eine weitere Kontrolle durch und stellte fest, dass die Anforderungen an eine artgerechte Pferde- und Rinderhaltung nicht in allen Teilen erfüllt seien und sich im Vergleich zur Kontrolle vom Frühjahr 2007 weitere Mängel ergeben hätten. Mit Schreiben vom 15. Mai 2009 gewährte das Veterinäramt X._ das rechtliche Gehör zum festgestellten Sachverhalt. Nachdem sich X._ nicht hatte vernehmen lassen, verfügte das Veterinäramt am 14. Juli 2009 wie folgt: "1. Die Minimalanforderungen für die Pferde- und Rinderhaltung auf dem Betrieb von X._ sind noch immer nicht in allen Teilen eingehalten und bestehen teilweise noch seit den Kontrollen vom 16. März 2007 (Entscheid vom 4. April 2007, Beilage 1) beziehungsweise vom 9. Juli 2007 (Amtsbericht vom 16. August 2007, Beilage 2). Neue Mängel im gleichen Sinn sind bei der Kontrolle vom 28. April 2009 dazugekommen. Sie stellen eine wiederholte und schwere Zuwiderhandlung gegen die Tierschutzvorschriften dar. 2. Wenn bei einer weiteren Kontrolle wiederum Mängel in der Tierhaltung festgestellt werden, insbesondere wenn nicht alle Pferdeboxen den Mindestanforderungen der Tierschutzgesetzgebung entsprechen, den Pferden, vor allem bei der Gruppenauslaufhaltung, keine qualitativ genügende Silage zur Verfügung gestellt wird, keine Rückzugsmöglichkeiten in der Gruppenauslaufhaltung von erwachsenen Pferden zur Verfügung steht, keine sachgemässe Abtrennung zwischen den Pferden und Maschinen und Gerätschaften in der Maschinenhalle angebracht ist, Tiere ohne fachgerechte Pflege und Behandlung und Tiere ohne genügende Wasserversorgung angetroffen werden, wird X._ und allen im gleichen Haushalt lebenden Personen ein sofortiges unbefristetes Tierhalteverbot auferlegt. 3. X._ darf die improvisierte Anbindehaltung für die Pferde ohne seitliche Abgrenzung nicht mehr benutzen. Entweder ist diese abzubrechen oder wie in der Erwägung festgehalten einzurichten und zu betreiben. 4. X._ wird aufgefordert, bis am 31. August 2009 dem Veterinäramt Thurgau einen Termin an einem Arbeitstag zwischen 1. - 18. September 2009 zur Abnahme der verfügten Massnahmen betreffend improvisierter Anbindevorrichtung zu melden. Es ist darzulegen, wo und wie die bisher darin untergebrachten Pferde zukünftig gehalten werden sollen. 5. Ohne diese Abnahme dürfen keine Pferde von der Alp auf den Heimbetrieb zurückgebracht werden. Verläuft die Frist bis am 31. August 2009 unbenützt, erfolgt die sofortige Ersatzvornahme durch das Veterinäramt auf Kosten von X._, d.h. die Beschlagnahme derjenigen Pferde, für die keine andere Haltung als in der improvisierten Anbindevorrichtung möglich ist. 6. X._ wird aufgefordert, die Vorschriften der Tierseuchengesetzgebung einzuhalten. Insbesondere ist dafür zu sorgen, dass alles Rindvieh korrekt gekennzeichnet ist. 7. Wenn X._ den in diesem Entscheid erlassenen Anordnungen nicht Folge leistet, muss er mit einer Bestrafung wegen Ungehorsam im Sinne von Art. 292 des Strafgesetzbuches rechnen. Dieser Artikel lautet: "Ungehorsam gegen amtliche Verfügungen: Wer der von einer zuständigen Behörde oder einem zuständigen Beamten unter Hinweis auf die Strafandrohung dieses Artikels an ihn erlassenen Verfügung nicht Folge leistet, wird mit Haft oder mit Busse bestraft." 8. (...)" B. X._ erhob am 3. August 2009 Rekurs beim Departement für Inneres und Volkswirtschaft des Kantons Thurgau (DIV) mit dem Begehren, die Verfügung vom 14. Juli 2009 sei aufzuheben; zudem beantragte er unentgeltliche Rechtspflege. Das DIV wies mit Zwischenentscheid vom 22. September 2009 das Gesuch um unentgeltliche Rechtspflege wegen Aussichtslosigkeit ab. In der Folge bezahlte X._ den einverlangten Kostenvorschuss. Im Rahmen des Rekursverfahrens reichte das Veterinäramt am 16. Dezember 2009 eine Stellungnahme an das DIV ein, worin es u.a. ausführte, anlässlich einer Nachkontrolle vom 13. November 2009 hätten keine Mängel mehr bestanden. Mit Entscheid vom 26. Februar 2010 wies das DIV den Rekurs ab. C. X._ erhob dagegen Beschwerde an das Verwaltungsgericht des Kantons Thurgau mit dem Rechtsbegehren, der Rekursentscheid des DIV vom 26. Februar 2010 sei aufzuheben, eventualiter sei die Sache an die Vorinstanz zurückzuweisen. Zudem beantragte er unentgeltliche Rechtspflege. Das Verwaltungsgericht wies mit Urteil vom 14. Juli 2010 die Beschwerde ab, soweit darauf einzutreten war. Zugleich wies es das Gesuch um unentgeltliche Rechtspflege wegen Aussichtslosigkeit ab. D. Mit Eingabe vom 23. September 2010 erhebt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten sowie subsidiäre Verfassungsbeschwerde. Er beantragt, der Beschwerdeentscheid des Verwaltungsgerichts sei aufzuheben, eventualiter sei die Sache zur Neubeurteilung zurückzuweisen. Zudem sei ihm für das bundesgerichtliche wie für die vorinstanzlichen Verfahren die unentgeltliche Rechtspflege zu gewähren. Das Verwaltungsgericht, das DIV und das Eidgenössische Volkswirtschaftsdepartement beantragen Abweisung der Beschwerde. Das Veterinäramt äussert sich zur Sache, ohne einen konkreten Antrag zu stellen.