Faits: Faits: A. A.a Par requête du 9 juillet 2002, présentée à la Commission foncière rurale (section I) du canton de Vaud, X._ a sollicité l'autorisation d'acquérir les biens-fonds A et B sis sur la commune de A._ pour le prix de 100'000 fr. La parcelle A est affectée à la culture de la vigne. La parcelle B n'est actuellement plus litigieuse. A.b X._, qui est maître-boucher de formation, exerce deux activités: - il exploite un domaine qu'il a pris à ferme à B._, consacré à l'élevage du bétail, et un domaine également pris à ferme à C._ et D._, consacré aux grandes cultures et aux vaches allaitantes. Il exploite également des vignes, en partie en propriété en partie prises à ferme, à A._ et à E._. Selon ses explications, il est secondé par deux employés et trois associés et confierait certains travaux à des entreprises externes. Il a déposé à l'appui de sa requête une liste des travaux qu'il effectue personnellement, alléguant y consacrer plus de 50 heures par semaine. - il administre et gère deux sociétés actives dans le commerce de produits carnés: Y._ SA, dont il est actionnaire pour moitié, et Z._ Sàrl dans laquelle il possède une part de 19'000 fr. sur un capital de 20'000 fr. Selon ses explications, la première société occuperait 1,5 employés et ferait un chiffre d'affaires de 3 millions de francs par an. Il y consacrerait personnellement environ 2 heures par semaine. Le chiffre d'affaires de Z._ Sàrl se monterait à 5 millions de francs par an et le recourant y consacrerait de 1h30 à 2h00 par jour. X._ est également propriétaire d'un domaine agricole de 18 hectares, sis à F._, qui est actuellement affermé à son frère. A.c Précédemment, une première requête du 20 février 2001 concernant les mêmes parcelles avait été rejetée le 30 août 2001 au motif que X._ n'était pas un exploitant à titre personnel au sens de l'art. 9 de la loi fédérale sur le droit foncier rural (LDFR; RS 211.412.11). La Commission foncière s'était notamment fondée sur une expertise de l'association Prométerre du 29 août 2001. X._ avait recouru au Tribunal administratif du canton de Vaud contre cette décision. Toutefois, faute d'avance de frais versée dans le délai imparti, la cause avait été rayée du rôle. Auparavant encore, le Tribunal administratif du canton de Vaud avait rejeté, le 22 décembre 1997, un recours de X._ contre deux décisions de la Commission foncière lui refusant l'autorisation d'acquérir des parcelles à F._ ainsi qu'un domaine agricole à G._ et H._. Le Tribunal avait estimé que le requérant n'était pas un exploitant à titre personnel. Auparavant encore, le Tribunal administratif du canton de Vaud avait rejeté, le 22 décembre 1997, un recours de X._ contre deux décisions de la Commission foncière lui refusant l'autorisation d'acquérir des parcelles à F._ ainsi qu'un domaine agricole à G._ et H._. Le Tribunal avait estimé que le requérant n'était pas un exploitant à titre personnel. B. La requête déposée le 9 juillet 2002 a été rejetée par décision du 18 octobre 2002. Le refus de l'autorisation reposait sur une nouvelle expertise de l'association Prométerre, datée du 17 octobre 2002, et était à nouveau motivé par le fait que X._ n'était pas un exploitant à titre personnel au sens de l'art. 9 LDFR. B. La requête déposée le 9 juillet 2002 a été rejetée par décision du 18 octobre 2002. Le refus de l'autorisation reposait sur une nouvelle expertise de l'association Prométerre, datée du 17 octobre 2002, et était à nouveau motivé par le fait que X._ n'était pas un exploitant à titre personnel au sens de l'art. 9 LDFR. C. Sur recours de X._, le Tribunal administratif du canton de Vaud a confirmé, par arrêt du 27 mai 2004, la décision entreprise. Il a estimé que le requérant n'était pas un exploitant à titre personnel car les exigences posées par l'art. 9 al. 1 LDFR n'étaient pas réalisées; en effet, le requérant ne se consacrait pas de manière prépondérante à des activités agricoles au sens strict. L'autorité cantonale a laissé ouverte la question de savoir si le recourant avait la capacité d'exploiter un domaine viticole (art. 9 al. 2 LDFR). C. Sur recours de X._, le Tribunal administratif du canton de Vaud a confirmé, par arrêt du 27 mai 2004, la décision entreprise. Il a estimé que le requérant n'était pas un exploitant à titre personnel car les exigences posées par l'art. 9 al. 1 LDFR n'étaient pas réalisées; en effet, le requérant ne se consacrait pas de manière prépondérante à des activités agricoles au sens strict. L'autorité cantonale a laissé ouverte la question de savoir si le recourant avait la capacité d'exploiter un domaine viticole (art. 9 al. 2 LDFR). D. X._ interjette un recours de droit administratif contre l'arrêt cantonal. Il invoque une violation de l'art. 9 LDFR, reprochant à l'autorité cantonale d'avoir admis que les conditions des al. 1 et 2 étaient cumulatives, et une fausse application de l'art. 9 al. 1 LDFR, reprochant à l'autorité cantonale de n'avoir à tort pas retenu qu'il exerçait personnellement une activité agricole. Le recourant conclut principalement à l'octroi de l'autorisation et, subsidiairement, à l'annulation de l'arrêt entrepris et au renvoi de la cause à l'autorité cantonale. Des observations n'ont pas été requises.