Faits: Faits: A. Titulaire d'une licence de marchand de bétail, A._ exploite le manège de X._ depuis le 1er mai 1994. L'Office vétérinaire cantonal du canton de Genève (ci-après: l'Office cantonal) a reçu différentes plaintes relatives à la façon dont les chevaux et les poneys étaient traités dans ce manège. Il a dû intervenir à plusieurs reprises auprès de A._. Le 9 septembre 2004 au matin, le cheval "Frimeur", qui souffrait de coliques depuis la veille en fin d'après-midi, est décédé. A. Titulaire d'une licence de marchand de bétail, A._ exploite le manège de X._ depuis le 1er mai 1994. L'Office vétérinaire cantonal du canton de Genève (ci-après: l'Office cantonal) a reçu différentes plaintes relatives à la façon dont les chevaux et les poneys étaient traités dans ce manège. Il a dû intervenir à plusieurs reprises auprès de A._. Le 9 septembre 2004 au matin, le cheval "Frimeur", qui souffrait de coliques depuis la veille en fin d'après-midi, est décédé. B. B.a Le 15 septembre 2004, l'Office cantonal a pris une décision ne tenant pas compte de la mort de "Frimeur". Il a alors interdit à A._ de monter des poneys, quelle que soit leur taille ainsi que d'user de moyens de contrainte, de quelque nature que ce soit et quel qu'en soit le motif; il a également ordonné à A._ de confier les équidés à "rééduquer" à un écuyer diplômé ou à un maître d'équitation, qui appliquerait en premier la méthode la moins contraignante pour l'animal, de faire prodiguer à ses animaux, dès que ceux-ci seraient blessés ou malades, les soins vétérinaires adéquats et de les traiter compte tenu de leur état, ainsi que d'offrir à chacun de ses équidés la possibilité de se mouvoir en liberté, si possible en plein air et en groupe, au moins 13 jours par mois. En outre, il a averti A._ qu'en cas de non-respect de tout ou partie des dispositions susmentionnées, un séquestre définitif et une interdiction de détenir des équidés seraient prononcés à son encontre. Enfin, il a rendu cette décision immédiatement exécutoire nonobstant recours. -:- Le 18 octobre 2004, A._ a recouru contre la décision de l'Office cantonal du 15 septembre 2004 auprès du Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif). Le 18 novembre 2004, le Président du Tribunal administratif a rejeté la demande de restitution de l'effet suspensif présentée par A._. B.b Le 7 janvier 2005, l'Office cantonal a pris une nouvelle décision en raison du décès du cheval "Frimeur". Il a alors ordonné à A._ d'engager, sans délai et à plein temps, une personne titulaire d'un diplôme d'écuyer ou d'une maîtrise d'équitation, avec une bonne expérience professionnelle, qui serait nommée responsable de toute la problématique sanitaire et comportementale de la détention des équidés et présente quotidiennement dans son exploitation, de faire parvenir à l'Office cantonal, dès sa signature, une copie du contrat d'engagement de ce collaborateur et de son cahier des charges ainsi que d'informer immédiatement l'Office cantonal en cas de changement de collaborateur. En outre, il a averti A._ qu'en cas de non-respect de tout ou partie des dispositions susmentionnées, un séquestre définitif et une interdiction de détenir des équidés seraient prononcés à son encontre. Enfin, il a rendu cette décision immédiatement exécutoire nonobstant recours. Le 9 février 2005, A._ a recouru contre la décision de l'Office cantonal du 7 janvier 2005 auprès du Tribunal administratif. Par décision du 28 février 2005, le Président du Tribunal administratif a partiellement admis la demande de restitution de l'effet suspensif présentée par A._. Il a ainsi ordonné à l'intéressé d'engager, dans un délai de 30 jours après l'entrée en force de cette décision, une personne titulaire d'un diplôme d'écuyer ou d'une maîtrise d'équitation pour veiller au bien-être des équidés du manège en cause à raison de 20 heures hebdomadaires réparties sur 5 jours au minimum. B.c Par arrêt du 17 janvier 2006, le Tribunal administratif, dont la Vice-Présidente avait ordonné la jonction des deux causes précitées le 6 juin 2005, a partiellement admis les recours. Il a confirmé l'interdiction faite à A._ de monter des poneys, à l'exception des poneys de la catégorie D - c'est-à-dire des plus gros. Il a donné acte à A._ de son engagement de renoncer à l'usage de moyens de contrainte, en particulier du "barnum" (système de rênes coercitives), et l'y a condamné en tant que de besoin. Il a donné acte à A._ de son engagement d'avoir à son service une personne titulaire d'un diplôme d'écuyer ou d'une maîtrise d'équitation pour veiller au bien-être des équidés de son manège, à raison de 20 heures hebdomadaires réparties sur 5 jours au minimum, et l'y a condamné en tant que de besoin. Il a confirmé l'obligation faite à A._ d'avertir l'Office cantonal de tout changement de collaborateur. Il a confirmé l'avertissement donné à A._ qu'en cas de non-respect des dispositions susmentionnées, un séquestre définitif et une interdiction de détenir des équidés seraient prononcés à son encontre. Il a annulé les décisions querellées pour le surplus. B.c Par arrêt du 17 janvier 2006, le Tribunal administratif, dont la Vice-Présidente avait ordonné la jonction des deux causes précitées le 6 juin 2005, a partiellement admis les recours. Il a confirmé l'interdiction faite à A._ de monter des poneys, à l'exception des poneys de la catégorie D - c'est-à-dire des plus gros. Il a donné acte à A._ de son engagement de renoncer à l'usage de moyens de contrainte, en particulier du "barnum" (système de rênes coercitives), et l'y a condamné en tant que de besoin. Il a donné acte à A._ de son engagement d'avoir à son service une personne titulaire d'un diplôme d'écuyer ou d'une maîtrise d'équitation pour veiller au bien-être des équidés de son manège, à raison de 20 heures hebdomadaires réparties sur 5 jours au minimum, et l'y a condamné en tant que de besoin. Il a confirmé l'obligation faite à A._ d'avertir l'Office cantonal de tout changement de collaborateur. Il a confirmé l'avertissement donné à A._ qu'en cas de non-respect des dispositions susmentionnées, un séquestre définitif et une interdiction de détenir des équidés seraient prononcés à son encontre. Il a annulé les décisions querellées pour le surplus. C. A._ a déposé un recours de droit administratif au Tribunal fédéral contre l'arrêt du Tribunal administratif du 17 janvier 2006. Il conclut, sous suite de frais et dépens, principalement, à l'annulation de l'arrêt attaqué, puis à celle des décisions de l'Office cantonal des 15 septembre 2004 et 7 janvier 2005 et, subsidiairement, au renvoi de la cause au Tribunal administratif pour nouvelle décision dans le sens des considérants. Il se plaint en particulier d'établissement des faits incomplet et inexact. Il reproche aussi au Tribunal administratif d'avoir violé le droit fédéral, en commettant un déni de justice formel, en appliquant de façon erronée les dispositions topiques de la loi fédérale du 9 mars 1978 sur la protection des animaux (LPA; RS 455) et en enfreignant les principes généraux du droit administratif, notamment celui de la proportionnalité. Le Tribunal administratif a renoncé à formuler des observations sur le recours. L'Office cantonal conclut, sous suite de frais et dépens, au rejet du recours et à la confirmation de l'arrêt attaqué. Le Département fédéral de l'économie propose de confirmer l'arrêt entrepris.