Faits :
A.
Après avoir procédé à une enquête préalable ayant abouti à un préavis défavorable du Service fribourgeois des constructions et de l'aménagement (SeCA), A._ a déposé une demande de permis de construire pour la mise en conformité du changement d'affectation d'un hangar agricole pour la détention d'animaux à titre de loisir, de la pose de portes coulissantes, du bétonnage du fond et de l'aménagement de l'accès, sur la parcelle n° 1198 de la commune de Misery-Courtion sise en zone agricole.
Mis à l'enquête publique le 5 mai 2017, le projet a suscité une opposition de la part des propriétaires B._ et C._ d'une parcelle attenante. La Commune a rendu un préavis favorable avec conditions.
B.
Par décision du 11 juin 2018, la Direction de l'aménagement, de l'environnement et des constructions (DAEC) a refusé d'accorder l'autorisation spéciale de construire hors de la zone à bâtir.
Par décision du 12 septembre 2019, le Préfet du district du Lac a refusé de délivrer le permis de construire requis et déclaré que l'opposition était devenue sans objet.
Statuant sur recours du requérant par arrêt du 8 janvier 2020, la II e Cour administrative du Tribunal cantonal de l'Etat de Fribourg a confirmé ces décisions.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt cantonal et d'accorder l'autorisation de construire requise. Il conclut subsidiairement à l'annulation de l'arrêt cantonal assortie d'un renvoi à la DAEC pour nouvelle décision dans le sens des considérants.
La cour cantonale renvoie aux considérants de son arrêt et conclut au rejet du recours. La Préfecture du district du Lac renonce à déposer une réponse. La DAEC et la Commune se déterminent et concluent au rejet du recours. Les tiers intéressés présentent des déterminations et précisent se rallier à l'arrêt et aux décisions attaqués. Consulté, l'Office fédéral du développement territorial ARE renonce à se déterminer, l'arrêt ne prêtant selon cet office pas flanc à la critique.
Les parties se déterminent encore dans un second échange d'écritures.
Par ordonnance présidentielle du 19 mars 2020, la requête d'effet suspensif a été rejetée, aucune décision de remise en état n'ayant été rendue dans le cadre de la présente procédure ni jusqu'alors. Saisi d'une nouvelle demande du recourant, le Président de la Ire Cour de droit public a accordé l'effet suspensif au recours par ordonnance du 5 mai 2020 en ce sens que la DAEC ne peut rendre de décision de remise en état avant que le Tribunal fédéral n'ait statué dans la présente procédure.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans une cause relevant du droit de la police des constructions et de l'aménagement du territoire (<ref-law>), le recours est en principe recevable comme recours en matière de droit public, aucune des exceptions prévues à l'<ref-law> n'étant réalisée.
Le recourant a pris part à la procédure devant l'instance cantonale; il est particulièrement atteint par l'arrêt attaqué et a un intérêt digne de protection à sa modification, celui-ci confirmant le refus de délivrance de l'autorisation de construire qu'il a requise en vue de la régularisation des transformations opérées sur son hangar. Au contraire de ce que font valoir les tiers intéressés, la réalisation des travaux avant le dépôt de la demande d'autorisation de construire ainsi que le niveau de coopération du recourant dans le cadre général de la cause sont sans incidence sur sa qualité pour recourir au sens de l'<ref-law>. Celle-ci doit donc lui être reconnue en l'espèce.
Les autres conditions de recevabilité sont réunies si bien qu'il y a lieu d'entrer en matière sur le recours.
2.
Le recourant et les tiers intéressés présentent leur propre version des faits dans leurs écritures sans toutefois critiquer l'état de fait de l'arrêt attaqué au sens de l'<ref-law>, de sorte que le Tribunal fédéral s'en tiendra aux constatations des premiers juges.
3.
3.1. Aucune construction ou installation ne peut être créée ou transformée sans autorisation de l'autorité compétente (art. 22 al. 1 LAT [RS 700]). Pour qu'une autorisation hors de la zone à bâtir soit délivrée, la construction ou l'installation doit y être conforme à l'affectation de la zone (art. 22 al. 2 let. a LAT), ou alternativement remplir les conditions des exceptions prévues aux art. 24 ss LAT.
A teneur de l'art. 24e al. 1 LAT, des travaux de transformation sont autorisés dans les bâtiments et les parties de bâtiments inhabités et conservés dans leur substance s'ils permettent aux personnes qui habitent à proximité d'y détenir des animaux à titre de loisir dans des conditions respectueuses. L'art. 42b de l'ordonnance du 28 juin 2000 sur l'aménagement du territoire (OAT; RS 700.1) précise que la transformation destinée à la détention d'animaux à titre de loisir est assimilée à un agrandissement de l'utilisation à des fins d'habitation du bâtiment d'habitation situé à proximité (al. 1); elle est imputée aux possibilités d'agrandissement des bâtiments d'habitation au sens de l'<ref-law> prévoyant des limites de surfaces additionnelles aux surfaces habitables existantes (al. 2).
L'exigence de proximité entre le bâtiment d'habitation et celui destiné à la garde d'animaux a été introduite par le législateur lorsqu'il a étendu la possibilité, alors déjà existante, de réaliser des travaux dans des parties de bâtiments inhabités attenantes aux habitations, à des bâtiments inhabités distincts, qualifiés de locaux annexes (Conseil fédéral, Message du 2 décembre 2005 relatif à la révision partielle de la loi fédérale sur l'aménagement du territoire, FF 2005 6645 ch. 2.3). Aussi, les bâtiments doivent-ils se trouver dans une relation spatiale étroite (PETER HÄNNI, Planungs-, Bau- und besonderes Umweltschutzrecht, 6e éd. 2016, p. 221). La proximité garantit une surveillance et des soins donnés sur place aux animaux et permet d'éviter une circulation induite et des locaux annexes tels que toilettes, douches, dortoirs, etc. (Conseil fédéral, Message précité, FF 2005 6645 ch. 2.3; ARE, Comment l'aménagement du territoire appréhende les activités liées au cheval, 2015, p. 15). La distance géographique admissible ne saurait donc dépasser celle qui peut être parcourue à pied en quelques minutes (RUDOLF MUGGLI, Commentaire pratique LAT: construire hors zone à bâtir, 2017, n° 10 ad art. 24e LAT). Cette proximité est notamment établie dans le cas de bâtiments centraux d'une ancienne entreprise agricole. Il est également possible, par exemple, que le bâtiment d'habitation soit situé en zone à bâtir et que le bâtiment à transformer se trouve sur une parcelle adjacente, mais en zone agricole (Conseil fédéral, Message précité, FF 2005 6645 ch. 2.3). Des praticiens ont eu l'occasion de mentionner une distance usuelle de 50 m (MANUEL HÄBERLI/DORIS SCHNEEBELI, Bauen ausserhalb Bauzonen, PBG-aktuell 1/2009 p. 12).
L'affectation d'un bâtiment inoccupé à la garde d'animaux à titre de loisir par les occupants d'une habitation proche, ainsi que l'imputabilité aux possibilités d'agrandissement réservées à l'habitation, doivent être clairement indiquées dans l'autorisation et inscrites au registre foncier (Conseil fédéral, Message précité, FF 2005 6645 ch. 2.3).
3.2. En l'espèce, selon les constations de fait non contestées de l'arrêt cantonal, le recourant habite sur la parcelle communale n° 738 située en zone à bâtir, entourée de zone à bâtir, et séparée de la parcelle n° 1198 par plusieurs autres parcelles, si bien que ces deux biens-fonds ne sont pas attenants. Les deux bâtiments sont distants de 250 m à vol d'oiseau ou 400 à 520 m (selon les allégations des parties) par la route. Des maisons se trouvent entre les deux bâtiments, de sorte qu'une surveillance visuelle des animaux est impossible. La proximité requise par l'art. 24e LAT n'est ainsi pas manifeste.
Le recourant tente à cet égard en vain de faire valoir que le hangar litigieux est proche de son habitation au sens du droit fédéral. Certes, comme il l'indique, le message ne conditionne pas strictement l'application de l'art. 24e LAT à la condition que les bâtiments d'habitation et de garde d'animaux soient situés sur des parcelles attenantes - le cas le plus classique demeure certainement celui de deux bâtiments sis sur la même parcelle, voire deux parties d'un même bâtiment. La mention des deux parcelles attenantes est en effet un exemple. Cependant, s'agissant d'une dérogation exceptionnelle au principe de la séparation du bâti et du non-bâti, dont l'interprétation doit généralement se faire de façon restrictive, les exemples donnés doivent plutôt être compris comme les cas de figure possibles les plus larges (parcelle adjacente à celle de l'habitation sise en zone à bâtir, complexe de bâtiments d'une même entreprise agricole) par rapport aux cas classiques précités. Aussi, contrairement à ce qu'affirme le recourant, que le législateur n'ait pas précisément opté pour l'expression "parcelles attenantes" - qui exclurait de façon illogique les bâtiments sis sur une même parcelle - mais ait privilégié la "proximité", ne donne aucune indication sur le fait que dite proximité puisse nécessairement inclure des parcelles non contiguës.
Avant même d'examiner, comme le souhaiterait le recourant, les différents critères permettant d'apprécier la situation en opportunité tels que ceux, exposés dans le message, de la nécessité ou non de créer des aménagements annexes (locaux pour les toilettes, eau chaude, chauffage, aménagements pour la circulation, etc.), il y a lieu de déterminer quelle est la latitude de jugement que la loi concède à l'autorité d'exécution. A cet égard, le Tribunal fédéral constate tout d'abord que législateur s'est expressément référé à des locaux annexes à l'habitation. Par ailleurs, les autres règles légales tiennent compte des surfaces affectées à la garde d'animaux dans la fixation des possibilités d'agrandissement du logement, lorsque celui-ci est également situé en zone agricole, indépendamment d'une précision d'appartenance au même bâtiment ou à la même parcelle. Ces deux éléments permettent de déduire de manière claire qu'il doit exister un lien particulier entre les deux bâtiments, que ce soit fonctionnel, historique (de l'ancienne exploitation agricole) ou d'une autre nature, lien qui doit être d'autant plus important que les bâtiments en cause sont éloignés.
En conséquence, le caractère quasi indissociable de l'habitation et du bâtiment destiné à la garde d'animaux met en évidence que l'exception légale à l'interdiction de construire hors zone à bâtir ne peut bénéficier, non à tout habitant de chaque village alentour qui pourrait se rendre sur le site à pied ou à vélo, mais bien à un cercle restreint de résidents proches. Or, en l'espèce, le recourant n'en fait manifestement pas partie: il vit dans un bâtiment situé en zone à bâtir, sis sur un bien-fond séparé de plusieurs autres parcelles ainsi que plusieurs autres bâtiments, et pour lequel aucun lien particulier avec le hangar existant n'est établi ni allégué.
La cause 1C_207/2015 du 9 septembre 2015 à laquelle le recourant se réfère est sans rapport avec la question soulevée dans le présent litige. Cet arrêt n'a fait qu'examiner, sous l'angle restreint de l'arbitraire, la façon dont les autorités cantonales fribourgeoises avaient appréhendé la notion de "proximité" contenue dans une disposition légale cantonale de droit des constructions. Il n'y a rien à en tirer ici, rien ne justifiant de corréler cette notion autonome de droit cantonal à celle de l'art. 24e LAT.
L'arrêt cantonal valaisan (arrêt A1 15 30 du 27 août 2015) cité par le recourant n'est lui non plus d'aucune utilité en l'espèce, puisqu'il ne faisait que constater que la distance entre l'habitation et le bâtiment litigieux du cas d'espèce était trop importante. Il est abusif d'en déduire a contrario, comme tente de le faire le recourant, que toute distance inférieure serait acceptable.
Enfin, que l'autorité compétente en matière de droit foncier rural ait rendu en faveur du recourant une décision qui, dans ses conséquences pratiques, est incompatible avec le droit matériel fédéral de l'aménagement du territoire ne saurait justifier de faire exception à celui-ci.
4.
Le recourant se plaint en outre d'une discrimination par rapport aux détenteurs d'animaux à titre de loisir en zone agricole qui n'entreprendraient pas de travaux et qui pourraient, l'exigence de proximité ne s'appliquant pas, habiter à plusieurs kilomètres de là et faire autant de trajets nécessaires à la détention de leurs bêtes. Par ce grief, le recourant ne critique en réalité pas l'application de l'art. 24e LAT en elle-même, la distinction entre un changement d'affectation sans travaux (art. 24a LAT) et avec travaux découlant directement et précisément de la loi. Le recourant - quand bien même il ne l'expose pas expressément - critique en réalité le choix du législateur, ce que l'on peut comprendre comme la dénonciation d'une violation du principe de l'égalité de traitement au sens de l'art. 9 Cst. Aussi, outre qu'il n'appartient pas au Tribunal fédéral de contrôler la constitutionnalité de la loi (art. 190 Cst.), il est douteux que les exigences de motivation de l'art. 106 al. 2 Cst. soient réalisées, le recourant ne citant pas la disposition constitutionnelle en cause, ni en quoi elle serait, selon la portée spécifique de cette disposition, violée en l'espèce. Quoi qu'il en soit, le recourant n'expose concrètement aucune situation semblable qui aurait été traitée différemment de la sienne sans raison valable, se contentant d'affirmer de façon abstraite qu'il est discriminé. Supposé recevable malgré son caractère appellatoire, le grief doit ainsi être rejeté.
Au surplus, les motifs allégués tels que le bien-être animal et la protection de la nature, justifiant prétendument les travaux entrepris, sont ici sans pertinence. Ils pourront tout au plus être pris en considération dans le cadre de l'examen de la proportionnalité d'un ordre de remise en état compte tenu des différents intérêts publics et privés en cause. On peut ici d'ores et déjà préciser que, si les nuisances dont se plaignent les opposants peuvent être relativisées dès lors que ceux-ci vivent en zone agricole, il devra en revanche être tenu compte de l'éventuelle nature commerciale de la détention des animaux (élevage) - non examinée ici - pour laquelle le législateur n'a, au contraire de la détention d'animaux à titre de loisir, pas prévu qu'elle puisse se faire en zone agricole.
5.
Il résulte de ce qui précède que le recours doit être rejeté, aux frais de son auteur, qui succombe (<ref-law>). Il n'y a pas lieu d'allouer de dépens aux tiers intéressés, ceux-ci n'étant pas représentés par un mandataire professionnel.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais de justice, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à la Direction de l'aménagement, de l'environnement et des constructions de l'Etat de Fribourg, au Préfet du district du Lac, à la Commune de Misery-Courtion, à B._, à C._, au Tribunal cantonal de l'Etat de Fribourg, II e Cour administrative, et à l'Office fédéral du développement territorial.
Lausanne, le 22 octobre 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Sidi-Ali