Faits: A. A.a X._, agriculteur de profession, a requis, le 7 décembre 2004, une autorisation d'acquérir l'immeuble article 1 du registre foncier de la commune de A._. Cette parcelle, composée d'une habitation mixte, d'un jardin potager, d'une porcherie, d'une place, d'un pré et d'un chemin, représentait **** m2. Il l'a acquise pour le prix de 250'000 fr. L'autorisation lui a été accordée le 20 janvier 2005 par l'Autorité foncière cantonale du canton de Fribourg (ci-après: l'Autorité foncière cantonale). Elle a en particulier admis que l'acquéreur était agriculteur, qu'il entendait exploiter lui-même l'immeuble affermé par ses soins depuis 2003 en complément de l'entreprise agricole dont il était déjà propriétaire, située à B._ et C._, et que le prix d'acquisition était conforme à l'estimation du prix licite. En outre, cette autorité administrative a retenu que le centre d'exploitation de l'entreprise de l'acquéreur était situé à B._ et que, compte tenu de la nature particulière des bâtiments à acquérir, il pouvait exceptionnellement être admis que la porcherie entrait dans le rayon d'exploitation usuelle de l'entreprise agricole de l'acquéreur. A.b Le 29 mars 2006, X._ a soumis à l'Autorité foncière cantonale le projet d'acte d'abandon de biens relatif aux domaines agricoles de B._ et C._ conclu entre lui et son fils Y._, afin d'obtenir, en tant que nécessaire, l'autorisation ad hoc. A cette occasion, il a expliqué que, souhaitant changer d'orientation professionnelle et se concentrer sur l'engraissement de porcs, métier différent de celui d'éleveur de bovins, il entendait demeurer propriétaire individuel des articles 1 et 2 du registre foncier de A._ (ci-après: l'article ou la parcelle 1 et l'article ou la parcelle 2). Il a notamment exposé que la porcherie de A._ et le domaine principal de B._ constituaient deux entités distinctes tant du point de vue géographique qu'au regard du genre d'activités. Par décision du 3 novembre 2006, l'Autorité foncière cantonale a refusé d'octroyer l'autorisation et donc de soustraire de l'entreprise agricole les immeubles agricoles portant les numéros d'articles 1 et 2. Un tel mode de faire contrevenait en effet à l'interdiction du partage matériel au sens de l'art. 58 al. 1 de la loi fédérale du 4 octobre 1991 sur le droit foncier rural (ci-après: LDFR ou loi sur le droit foncier rural; RS 211.412.11), aucune exception au sens de l'art. 59 LDFR ni motif d'autorisation exceptionnelle, tels qu'énoncés de manière exhaustive par l'art. 60 LDFR, ne justifiant l'octroi d'une telle autorisation. B. Le 16 février 2009, le Tribunal administratif du canton de Fribourg (depuis le 1er janvier 2008 et ci-après: le Tribunal cantonal) a rejeté le recours de X._ et a confirmé la décision de l'Autorité foncière cantonale du 3 novembre 2006 en tant qu'elle concernait l'article 1. Le Tribunal cantonal a en substance retenu que l'article 1 faisait partie de l'entreprise agricole du recourant et que c'était à bon droit que l'Autorité foncière cantonale avait refusé de délivrer une autorisation exceptionnelle de déroger à l'interdiction de partage matériel de son entreprise. Il a en outre estimé qu'aucun des motifs avancés par le recourant ne permettait de juger que la structure d'exploitation de la parcelle en cause pouvait être qualifiée de défavorable au sens de l'art. 8 LDFR, et donc de la soustraire aux dispositions légales régissant l'entreprise agricole. S'agissant de l'article 2, sur lequel serait érigé un immeuble locatif et qui aurait été introduit par erreur dans la procédure, le Tribunal cantonal a renvoyé la cause à l'Autorité foncière cantonale afin qu'elle l'instruise et statue sur la question de sa soumission à la loi sur le droit foncier rural. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, que, principalement, l'arrêt du 16 février 2009 du Tribunal cantonal soit partiellement réformé en ce sens que, d'une part, en application de l'art. 8 let. b LDFR, les dispositions sur les immeubles agricoles isolés s'appliquent à son entreprise agricole et que, partant, il soit en droit de partager son entreprise en soustrayant de celle-ci l'immeuble agricole article 1 du registre foncier de la commune de A._ et que, d'autre part, l'affaire soit renvoyée à l'Autorité foncière cantonale pour qu'elle statue sur la question de savoir si l'article 2 du même registre foncier est soumis à la loi sur le droit foncier rural; subsidiairement, il demande que l'affaire soit renvoyée au Tribunal cantonal pour une nouvelle décision dans le sens des considérants. L'Autorité foncière cantonale, le Tribunal cantonal et l'Office fédéral de la justice se réfèrent aux dispositif et considérants de l'arrêt attaqué et concluent au rejet du recours.