Sachverhalt:
A. X._ führt einen Landwirtschaftsbetrieb in A._ (Gemeinde B._/TG), auf welchem er Rindvieh hält. Seit 2002 kam es bei mehreren Betriebsüberprüfungen zu Beanstandungen seiner Tierhaltung. In den Jahren 2006 und 2008 wurde er deswegen zu Bussen verurteilt. Aufgrund einer Strafanzeige des Thurgauischen Tierschutzverbandes wurde der Betrieb am 14. April 2010 erneut kontrolliert. Dabei stellte das Veterinäramt des Kantons Thurgau verschiedene Verstösse gegen die Tierschutz- und Heilmittelgesetzgebung fest, weshalb es mit Verfügung vom 23. Juli 2010 X._ und allen in seinem Haushalt lebenden Personen auf unbestimmte Zeit ein für alle Nutztiere gültiges Tierhalteverbot auferlegte. Die von X._ dagegen beim Departement für Inneres und Volkswirtschaft sowie beim Verwaltungsgericht des Kantons Thurgau eingereichten kantonalen Rechtsmittel blieben ohne Erfolg.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht im Hauptantrag, das Urteil des Verwaltungsgerichts des Kantons Thurgau vom 11. Mai 2011 aufzuheben und insbesondere auf das Tierhalteverbot zu verzichten.
Das Eidgenössische Volkswirtschaftsdepartement sowie das Veterinäramt, das Verwaltungsgericht und das Departement für Inneres und Volkswirtschaft des Kantons Thurgau stellen den Antrag, die Beschwerde abzuweisen.
C. Mit Verfügung vom 23. September 2011 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Der in Anwendung des Tierschutzgesetzes vom 16. Dezember 2005 (TSchG; SR 455) ergangene kantonal letztinstanzliche Endentscheid kann mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht angefochten werden (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG). Eine Ausnahme liegt nicht vor. Auf die frist- und formgerechte Beschwerde ist einzutreten.
1.2 Soweit der Beschwerdeführer auf Eingaben im kantonalen Verfahren verweist, tritt das Bundesgericht praxisgemäss nicht darauf ein. Die erhobenen Rügen müssen in der Beschwerdeschrift selber enthalten sein; der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (<ref-ruling> E. 3.1 mit Hinweisen).
2. 2.1 Nach <ref-law> kann die zuständige Behörde auf bestimmte oder unbestimmte Zeit Tierhalteverbote aussprechen gegenüber Personen, die wegen wiederholter oder schwerer Zuwiderhandlung gegen Vorschriften dieses Gesetzes und seiner Ausführungserlasse oder gegen Verfügungen bestraft worden sind (lit. a) oder aus anderen Gründen unfähig sind, Tiere zu halten oder zu züchten (lit. b).
2.1.1 Der Beschwerdeführer wendet ein, er sei lediglich einmal wegen Widerhandlungen gegen die Tierschutzgesetzgebung verurteilt worden, weshalb <ref-law> keine Anwendung finden könne. Auch von einer Unfähigkeit im Sinne von <ref-law> könne keine Rede sein.
2.1.2 Das Veterinäramt hat das in Frage stehende Tierhalteverbot mit den wiederholten Verstössen des Beschwerdeführers gegen die Gesetzgebung über die Tierhaltung begründet, welche aufzeigten, dass dieser nicht in der Lage sei, Tiere korrekt bzw. vorschriftsgemäss zu halten und Lebensmittel zu produzieren, welche den Vorschriften entsprächen. Während das Veterinäramt im Zusammenhang mit dem somit zur Anwendung gelangenden <ref-law> indessen lediglich den Wortlauf von lit. a dieser Bestimmung wiederholte, stellte das Departement für Inneres und Volkswirtschaft in seinem Rekursentscheid klar, dass ein Anwendungsfall von <ref-law> vorliege, denn die namentlich erwähnten Ereignisse bzw. Verhaltensweisen des Rekurrenten würden dessen Unfähigkeit zur Tierhaltung aufzeigen. Dieser Auffassung hat sich auch die Vorinstanz angeschlossen, indem sie erkannt hat, der Beschwerdeführer sei nicht in der Lage, seine Tiere ordnungsgemäss zu halten.
2.1.3 Die Rüge des Beschwerdeführers, die Vorinstanz habe aktenwidrig (<ref-law>) und damit willkürlich festgestellt, er sei wegen Verletzung der Tierschutzgesetzgebung bzw. Tierseuchengesetzgebung zweimal mit Bussen bestraft worden, ist zwar begründet; die Behebung dieses Mangels ist für den Ausgang des Verfahrens nach dem eben Ausgeführten indessen nicht entscheidend.
2.2 Die kantonalen Behörden hatten sich nach den Sachverhaltsfeststellungen der Vorinstanz wiederholt mit Mängeln im Betrieb des Beschwerdeführers zu befassen:
2.2.1 Anlässlich einer ersten Kontrolle des Betriebes im Jahre 2002 wurde durch das Landwirtschaftsamt bemängelt, dass in der Stallanlage das Boxenliegebett zu klein sei und ein besonderes Abteil für kalbende und kranke Tiere fehle.
Dass es sich dabei nach den Angaben des Beschwerdeführers nicht um eine Beanstandung des Veterinäramtes, sondern um eine solche des kantonalen Landwirtschaftsamtes im Rahmen einer Bauabnahme gehandelt haben soll, ändert nichts am festgestellten Mangel, auch wenn dieser anschliessend behoben worden sein sollte.
2.2.2 Nach einer Kontrolle am 25. August 2005 hat der Kantonstierarzt festgestellt, dass Einträge von Behandlungen mit buchführungspflichtigen Tierarzneimitteln nicht vollständig vorlagen. Zudem waren die Einträge ungenau. Schliesslich fehlten Belege dafür, dass die Kälber vorschriftsgemäss unter Schmerzausschaltung enthornt wurden.
Gemäss rechtskräftigem Entscheid des Kantonstierarztes vom 14. September 2005 (mit Präzisierungen/Ergänzungen vom 1. Dezember 2005 bzw. 19. Januar 2006) wurden die Tiere im Betrieb des Beschwerdeführers in den letzten Jahren vor jener Kontrolle ohne Schmerzausschaltung enthornt, was seit September 2001 als Verstoss gegen die Tierschutzgesetzgebung zu qualifizieren war. Zudem wurden verbotenerweise importierte Arzneimittel bei Nutztieren eingesetzt. In diesem Zusammenhang wurde dem Beschwerdeführer vom Bezirksamt Weinfelden wegen Widerhandlung gegen das Heilmittelgesetz eine Busse von Fr. 250.-- auferlegt.
2.2.3 Am 23. November 2006 wurde bei einer Nachkontrolle festgestellt, dass die Kälber immer noch in Iglus, ohne vorgeschriebene Bewegungsmöglichkeit ausserhalb derselben gehalten wurden. Der Beschwerdeführer wurde darauf hingewiesen, dass er aufgrund der Fehler in der Vergangenheit verstärkt unter Kontrolle stehe.
2.2.4 Mit Verfügung vom 9. Juli 2008 stellte das Veterinäramt erneut fest, dass der Beschwerdeführer Vorschriften betreffend Tierschutz, Tiergesundheit, Tierverkehr und Einsatz von Tierarzneimitteln verletzt hat (u.a. fehlendes Trinkwasser für Kälber [massive Austrocknung der Tiere], fehlendes Abteil für kalbende und kranke Tiere, ungenügende Einstreu und verschmutzte Tiere, ungenügende Pflege der Tiere [kranke Kälber ohne Beizug Tierarzt], fehlende oder mangelhafte Kennzeichnung oder Meldung der Tiere, Verletzungsgefahr durch mangelhafte Vorrichtungen, Rinder und Aufzuchtkälber sanken 10-20 cm in den mehr als halbmeterhohen Mist ein). Der Beschwerdeführer wurde aufgefordert, sofort alle Tiere entsprechend den Tierschutzvorschriften und der Tierseuchengesetzgebung zu halten, und es wurde Strafanzeige erstattet. Mit Strafverfügung des Bezirksamts Weinfelden wurde der Beschwerdeführer mit einer Busse von Fr. 800.-- bestraft.
2.2.5 Nachdem der Thurgauische Tierschutzverband eine Strafanzeige gegen den Beschwerdeführer u.a. wegen Verletzung der Tierschutzgesetzgebung eingereicht hatte, stellte das Veterinäramt anlässlich einer Kontrolle vom 14. April 2010 wiederum verschiedene gravierende Mängel im Betrieb des Beschwerdeführers fest (fehlende Abkalbebucht, Überbelegung des Boxenlaufstalls, nicht artgerechte Fütterung und Tränkung der Kälber, viele Tiere in ungenügend eingestreuten Buchten, Tiere nass und verschmutzt, Stalleinrichtungen können Tiere erheblich verletzen, keine freien bzw. separierte Plätze für kranke Tiere, seit Monaten unterlassene Buchführung über Bezug und Einsatz von Tierarzneimitteln, unzulässiger Einsatz von Tierarzneimitteln über Fütterungsautomat, nicht fachgerechte bzw. tierschutzkonforme Behandlung von Zuchtstier und festliegender Kuh, und verfügte am 23. Juli 2010 das in Frage stehende Tierhalteverbot.
2.2.6 Zuvor war der Beschwerdeführer am 23. April 2010 aufgefordert worden, ab sofort die Vorschriften der Tierseuchengesetzgebung einzuhalten; zugleich wurde eine einfache Sperre ersten Grades verhängt (kein Kontakt der Tiere zu anderen Beständen, keine Veränderung des Bestandes, ausser Abgabe zur Schlachtung mit Attest des Tierarztes).
2.3 Die Vorinstanz qualifizierte die anlässlich der Kontrolle vom 14. April 2010 festgestellten Mängel als Widerhandlungen gegen
Art. 41 Abs. 1 (recte Abs. 2) TSchV: Überbelegung des Laufstalles;
<ref-law> bzw. Art. 19 Abs. 3 der während der Übergangsfrist noch anwendbaren alten Tierschutzverordnung vom 27. Mai 1981 (aTSchV; AS 1981 572) sowie Art. 20 der Verordnung vom 27. August 2008 des Bundesamtes für Veterinärwesen (SR 455.110.1): fehlendes besonderes Abteil für kalbende und kranke Tiere;
<ref-law>: keine regelmässige und ausreichende Versorgung der Kälber mit Wasser;
<ref-law>: keine ausreichende Versorgung der Kälber mit Raufutter (Einstreu mit Kot und Harn durchtränkt und unfressbar);
Art. 7 Abs. 2 und Art. 10 Abs. 1 TSchV: flächenmässig zu kleine Igluhaltung der Kälber;
<ref-law>: unzureichende Einstreu und Mistung der Liegeboxen;
<ref-law>: Unterkünfte/Gehege mit Verletzungsgefahr für die Tiere;
Art. 160 Abs. 8 des Bundesgesetzes vom 28. April 1998 über die Landwirtschaft (LwG; SR 910.1): fehlende Belege durch Behandlungsjournal für die Verwendung von Antibiotika oder ähnlichen Stoffen zu therapeutischen Zwecken;
<ref-law>: selbständige Durchführung von Enthornungen ohne die notwendige Ausbildung und ohne Schmerzausschaltung;
<ref-law> und <ref-law>: nicht ordnungsgemässe Behandlung von kranken Tieren bzw. fehlende notwendige tierärztliche Versorgung;
<ref-law>: Töten einer Kuh ohne Betäubung;
Art. 14 Abs. 2 lit. a der Tierseuchenverordnung vom 27. Juni 1995 (TSV; SR 916.401): Unterlassene Meldung des Verlustes von Ohrmarken.
2.4 Soweit der Beschwerdeführer beanstandet, die Vorinstanz habe verkannt, dass Art. 37 Abs. 1 und 4 sowie <ref-law> erst am 1. September 2013 in Kraft träten, ist der Einwand unbehelflich, da entsprechende Pflichten bereits aufgrund der alten Tierschutzverordnung bestanden, wie die Vorinstanz zu Recht ausführt.
Entgegen der Auffassung des Beschwerdeführers ist auch die Feststellung der Vorinstanz, er habe einen offensichtlich apathischen, unter Krankheiten leidenden Stier nicht ordnungsgemäss behandeln lassen, nicht offensichtlich unrichtig; denn auch der von ihm angeführte Sektionsbericht stellt bei diesem Tier einen Wachstumsrückstand, einen Nabelabszess und etwelche bakterielle Streuungen in die inneren Organe sowie einen Wandriss im Fussgelenk fest; das teilnahmslos daliegende Tier, welches nicht mehr zum Aufstehen zu bewegen war, musste denn ja auch nach der Kontrolle durch den Tierarzt euthanasiert werden.
Der Beschwerdeführer wendet zu Recht ein, die beanstandete Tötung der Kuh sei unter Betäubung erfolgt. Dies trifft nur insoweit zu, als die Kuh zwar mittels Bolzenschuss und damit mit einem zulässigen Mittel betäubt, hingegen nicht vorschriftsgemäss durch Entblutung (<ref-law>) sicher getötet worden ist. Das Eidgenössische Volkswirtschaftsdepartement weist in diesem Zusammenhang darauf hin, dass die meisten Tiere (manchmal schon nach wenigen Minuten) nach dem Bolzenschuss wieder aufwachen. Der Einwand ändert somit nichts daran, dass die Kuh vorschriftswidrig getötet wurde.
Da der Beschwerdeführer im Übrigen in Bezug auf die ihm vorgeworfenen Widerhandlungen unzulässigerweise auf seine Ausführungen in den vorinstanzlichen Verfahren verweist, ist darauf nicht einzutreten (vgl. E. 1.2).
Dass die festgestellten Mängel keinen Niederschlag in den ÖLN-Kontrollberichten gefunden haben, vermag an den verbindlichen Feststellungen der Vorinstanz nichts zu ändern; sie belegen keineswegs, dass die anlässlich der Kontrollen festgestellten Mängel nicht bestanden hätten.
2.5 Unter Berücksichtigung der seit Jahren festgestellten wiederholten und zahlreichen Verstösse des Beschwerdeführers durfte die Vorinstanz ohne Verletzung von Bundesrecht annehmen, dieser sei grundsätzlich nicht in der Lage, seine Tiere ordnungsgemäss zu halten.
3. 3.1 Der Beschwerdeführer rügt, das gegen ihn und die mit ihm im gemeinsamen Haushalt lebenden Personen verfügte Tierhalteverbot sei unverhältnismässig.
3.2 Dazu ist zunächst zu betonen, dass das Tierschutzgesetz im Gegensatz zu anderen Bundesgesetzen nicht ausdrücklich eine Verwarnung, Mahnung oder Androhung einer künftigen Massnahme vorsieht. Eine solche kann indessen aus Gründen der Verhältnismässigkeit erforderlich sein (Urteil 2C_737/2010 vom 18. Juni 2011 E. 4.2 mit Hinweisen).
3.3 Der Beschwerdeführer hat seit 2002 immer wieder Anlass für Beanstandungen geboten. Ins Gewicht fallen dabei neben den Widerhandlungen gegen die Arzneimittelgesetzgebung vor allem die wiederholten Verstösse gegen die Tierschutzgesetzgebung, die von der Vorinstanz zu Recht als schwer eingestuft worden sind. Bedenken erweckt vor allem die Tatsache, dass der Beschwerdeführer trotz wiederkehrender behördlicher Kontrollen und Interventionen nicht in der Lage war, in seinem Betrieb auf Dauer eine einwandfreie und vor allem artgerechte und tierschutzkonforme Tierhaltung zu gewährleisten. Offensichtlich fehlt es auch an einem entsprechenden Willen. So ist denn am 8. Juli 2010 erneut eine Milchliefersperre verhängt worden. Es ist nicht zu sehen, inwiefern eine mildere Massnahme zu einer dauerhaften Besserung führen könnte. Der Beschwerdeführer hat bisher nach den jeweiligen Beanstandungen stets nur für kurze Zeit die verbesserten Verhältnisse aufrecht erhalten können, wie die wiederholten Beanstandungen zeigen. Auch die Unterstützung durch Hilfspersonen (Knecht, Freundin) hat keine dauerhafte Verbesserung bewirkt. Auch wenn die Massnahme den Beschwerdeführer hart treffen mag, hat er dies hinzunehmen, denn er hätte nun jahrelang Gelegenheit gehabt, zu zeigen, dass er zu einer tierschutzgerechten Tierhaltung befähigt ist. Wenn er diese Chancen nicht genutzt hat, hat er sich dies selber zuzuschreiben. Die vom Beschwerdeführer aktenkundig an den Tag gelegte respektlose Tierhaltung erstaunt zudem umso mehr, als er selber angibt, von Kindesbeinen an mit Tieren zu tun gehabt zu haben.
Die Vorinstanz hat demnach kein Bundesrecht verletzt, indem sie das Tierhalteverbot als verhältnismässig erachtet hat.
3.4 Auch von einer Verletzung der Eigentumsgarantie bzw. der Wirtschaftsfreiheit kann keine Rede sein.
Dem Beschwerdeführer ist es unbenommen, den Betrieb auf Ackerbau bzw. eine ähnliche Bewirtschaftungsart umzustellen oder den Hof an einen Pächter zu übergeben, der den Betrieb im Einklang mit der Tierschutzgesetzgebung führt. Dass der Betrieb für eine Bewirtschaftung ohne Tierhaltung nicht geeignet wäre, hat der Beschwerdeführer nicht rechtsgenügend dargelegt; dieser Umstand würde zudem am Ergebnis nichts ändern.
Die Wirtschaftsfreiheit gewährt keinen Anspruch auf gesetzwidrige Bewirtschaftung eines landwirtschaftlichen Betriebes.
4. Die Beschwerde ist aus diesen Gründen abzuweisen, soweit darauf einzutreten ist. Entsprechend diesem Ausgang hat der Beschwerdeführer die Kosten des Verfahrens vor Bundesgericht zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Thurgau und dem Eidgenössischen Volkswirtschaftsdepartement schriftlich mitgeteilt.
Lausanne, 11. März 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Küng