Faits :
A.
A._ est propriétaire de la parcelle n o 352 de la Commune de Croy. D'une surface de 4'791 m2, cette parcelle supporte un bâtiment agricole (n o ECA 156). Elle est colloquée pour l'essentiel en zone du village B au sens du plan général d'affectation (ci-après: PGA) et du règlement communal sur le plan d'affectation et la police des constructions (ci-après: RPGA), approuvé par le département cantonal compétent le 7 octobre 1996.
Le 3 mars 2016, la Municipalité de Croy a délivré un permis d'implantation à A._, à la suite d'une enquête préalable d'implantation pour la construction de trois immeubles et d'un parking souterrain sur la parcelle n o 352.
B.
Le 14 mars 2017, la municipalité a publié dans la Feuille des avis officiels du canton de Vaud (FAO) un avis aux propriétaires, par lequel elle faisait part de son intention d'établir une zone réservée, au sens de l'art. 46 de la loi vaudoise du 4 décembre 1985 sur l'aménagement du territoire et les constructions (LATC; RS/VD 700.11), sur certaines portions de la zone à bâtir. Dans l'intervalle, elle invitait les intéressés à prendre contact avec elle et se réservait le droit de faire application de l'art. 77 LATC, dans sa teneur en vigueur à cette époque, pour refuser tout projet qui serait contraire aux planifications envisagées, mais non encore soumises à l'enquête.
Le 19 mars 2017, A._ a confirmé à la municipalité son intention de construire trois immeubles sur sa parcelle n o 352. En réponse, le 23 mars 2017, l'autorité municipale a rappelé qu'elle refuserait dorénavant toute demande de permis de construire compromettant la planification envisagée, "quand bien même [son] projet [était] conforme à la loi et au règlement municipal".
C.
Du 7 février au 9 mars 2018 la municipalité a mis à l'enquête publique un projet de zone réservée; celle-ci englobe notamment la parcelle n o 352. Selon le règlement de la zone réservée, cette dernière est instituée pour cinq ans (cf. art. 4 al. 1); elle peut être prolongée de trois ans aux conditions de l'art. 46 LATC (art. 4 al. 2).
Il ressort du rapport d'aménagement du 2 février 2018, élaboré en application de l'art. 47 de l'ordonnance fédérale sur l'aménagement du territoire du 28 juin 2000 (OAT; RS 700.1), que la croissance hors périmètre de centre (soit l'ensemble de la commune) est limitée par la mesure A11 du Plan directeur cantonal (ci-après: PDCn) à 0,75% par année sur la période 2015-2036, faisant passer la population de 335 à 388 habitants (soit une augmentation de 53 habitants). Le bilan étant établi à partir des dernières statistiques de population, soit 344 habitants le 31 décembre 2016, le besoin se montait à 44 habitants. La zone à bâtir actuelle permettant une capacité totale d'accueil de 139 nouveaux habitants, le surdimensionnement était de 95 habitants. Pour des questions liées à l'égalité de traitement, la zone réservée communale s'étendrait à l'ensemble des zones à bâtir communales destinées à l'habitat, à savoir la zone de village A, la zone de village B et la zone d'habitation individuelle au sens du PGA, ainsi qu'aux sous-secteurs 2 et 3 du plan partiel d'affectation "Pra Amiet".
A._ a formé opposition contre cette zone réservée le 1 er mars 2018.
D.
Le 22 février 2018, A._ a déposé une demande de permis de construire portant sur la démolition du bâtiment agricole existant sur la parcelle n o 352 et la réalisation d'un immeuble de huit appartements et de deux couverts à voitures (CAMAC 176737). Toujours en février 2018, le prénommé a également requis l'autorisation de réaliser sur sa parcelle deux immeubles de huit appartements chacun, d'un parking souterrain et de deux couverts à voitures (CAMAC 176754). L'enquête publique s'est déroulée du 5 septembre au 4 octobre 2018.
Par décisions du 8 janvier 2019, la municipalité a refusé la délivrance des permis de construire sollicités. A._ a recouru au Tribunal cantonal contre le refus de sa deuxième demande (CAMAC 176754). Son recours a été rejeté par arrêt du 17 septembre 2020 (cause cantonale AC.2019.0044).
E.
Dans l'intervalle, le 1 er octobre 2018, le Conseil général de Croy a adopté le plan de zone réservée ainsi que son règlement; il a autorisé la municipalité à entreprendre toutes démarches utiles en vue de l'approbation et de l'entrée en vigueur de la zone réservée.
Le 3 décembre 2018, cette décision a été approuvée sous réserve du droit des tiers par l'ancien Département cantonal du territoire et de l'environnement (actuellement Département des institutions et du territoire [DIT]).
Le 21 janvier 2019, A._ a recouru contre cette décision d'approbation à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud. Par arrêt du 17 septembre 2020 (cause cantonale A.2019.0023), la cour cantonale a rejeté le recours. Compte tenu du surdimensionnement de la zone à bâtir et de la révision de la planification communale en cours, l'instauration d'une zone réservée s'avérait justifiée et proportionnée.
F.
Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral de prononcer que "la décision du Conseil Général de la Commune de Croy du 1 er octobre 2018 est réformée, de même que la décision d'approbation de la zone réservée par le Département du 3 décembre 2018 est annulée pour ce qui concerne la parcelle 352 RF de la Commune de Croy, propriété du recourant qui est exclue de la zone réservée". Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants.
Le Tribunal cantonal renonce à se déterminer et se réfère aux considérants de son arrêt. La Direction générale du territoire et du logement (ci-après: DGTL) demande le rejet du recours. Le Conseil général de la Commune de Croy conclut aussi au rejet du recours dans la mesure de sa recevabilité. Egalement invité à se prononcer, l'Office fédéral du développement territorial (ARE) se rallie à l'arrêt attaqué. Le recourant a répliqué, persistant dans les conclusions de son recours.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office la recevabilité des recours qui lui sont soumis.
En raison de l'effet dévolutif complet du recours au Tribunal cantonal (cf. <ref-ruling> consid. 1.2 p. 104 et les arrêts cités), la recevabilité des conclusions principales du recours apparaît douteuse, celles-ci étant dirigées contre la décision municipale du 1 er octobre 2018 et celle du département compétent du 3 décembre 2018. On comprend néanmoins des motifs développés dans son mémoire (cf. <ref-ruling> consid. 1 p. 102) que le recourant s'en prend à l'arrêt de la cour cantonale du 17 septembre 2020, dont il demande la réforme en ce sens que son recours cantonal est admis et les décisions précitées annulées. Ses conclusions subsidiaires sont quoi qu'il en soit dirigées contre l'arrêt attaqué dont il demande l'annulation. Dans cette mesure, le recours est dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public de l'aménagement du territoire (<ref-law>) et apparaît recevable, aucune des exceptions prévues à l'<ref-law> n'étant réalisée.
Le recourant, qui a pris part à la procédure cantonale de recours, est particulièrement touché par l'arrêt attaqué, qui confirme la collocation en zone réservée d'une parcelle dont il est propriétaire; il bénéficie dès lors d'un intérêt digne de protection à son annulation. La qualité pour recourir au sens de l'<ref-law> doit en conséquence lui être reconnue.
Les autres conditions de recevabilité étant au surplus réunies, il convient d'entrer en matière.
2.
Dans une première partie de son écriture, le recourant expose son propre état de fait. Une telle argumentation, dans la mesure où elle s'écarte des faits établis dans l'arrêt attaqué ou les complète, sans qu'il soit indiqué que ceux-ci seraient manifestement inexacts ou arbitraires, est irrecevable (cf. <ref-ruling> consid. 2 p. 116 s.; arrêts 1C_593/2019 du 19 août 2020 consid. 2; 1C_518/2019 du 8 juillet 2020 consid. 2). Pour le même motif, sont également irrecevables les faits allégués appellatoirement au gré des différents griefs de droit; il en va ainsi en particulier des allégations aux termes desquelles le recourant prétend que sa parcelle serait maintenue en zone à bâtir selon la nouvelle planification communale en cours d'élaboration.
3.
Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant reproche à l'instance précédente d'avoir refusé de mettre en oeuvre une inspection locale; il y voit une violation de son droit d'être entendu.
3.1. Garanti à l'art. 29 al. 2 Cst., le droit d'être entendu comprend notamment le droit pour l'intéressé d'offrir des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes et de participer à l'administration des preuves essentielles lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 7.2.2.1 p. 103 et les références citées). L'autorité peut cependant renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de forger sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 4.1 p. 171 et les arrêts cités). Dans ce contexte, le recourant est soumis aux exigences de motivation accrue de l'<ref-law>.
3.2. Selon le recourant, la localisation et l'implantation de sa parcelle au sein du territoire communal constitueraient des éléments d'appréciation importants pour déterminer si et dans quelle mesure sa collocation en zone réservée serait justifiée. Cette mesure d'instruction aurait également permis, à le suivre, de déterminer si d'autres parcelles pouvaient être dézonnées.
Les éléments de fait que le recourant entend démontrer par la mise en oeuvre d'une inspection locale ne sont pour l'heure toutefois pas pertinents. En effet et pour les motifs encore exposés ci-après, ce n'est qu'au stade ultérieur de la révision du PGA, en application des exigences en matière de redimensionnement des zones à bâtir surdimensionnées, que devront être définis les biens-fonds à dézoner, respectivement le sort de la parcelle du recourant (cf. consid. 4.4.1), ce dernier bénéficiant d'ailleurs dans ce cadre de la possibilité de contester l'affectation finalement retenue (cf. art. 33 de la loi fédérale sur l'aménagement du territoire du 22 juin 1979 [LAT; RS 700]). On ne discerne par ailleurs pas, dans ce contexte, et faute d'explications convaincantes, ce que le recourant entend déduire de l'arrêt 1C_156/2019 du 28 novembre 2019 (en particulier consid. 2.4.2) : cette affaire n'est pas comparable au cas d'espèce en tant qu'elle porte sur la délivrance d'une autorisation de construire intervenue antérieurement à l'élaboration d'un projet de zone réservée, respectivement à sa mise à l'enquête.
Dans ces conditions, la cour cantonale pouvait, sans arbitraire, écarter la mesure d'instruction requise et se contenter des éléments photographiques et des plans versés aux dossiers des autorités inférieures. Mal fondé, le grief est rejeté.
4.
Sur le fond, le recourant se plaint d'une violation des art. 15 et 27 LAT. Selon lui, sa parcelle répondrait aux conditions d'un classement en zone à bâtir au sens de l'art. 15 LAT - plus particulièrement de son al. 4 -, de sorte qu'elle n'aurait pas dû être englobée dans le périmètre de la zone réservée. Il soutient par ailleurs que l'instauration d'une zone réservée, qui paralyse pendant plusieurs années toute possibilité de construire sur sa parcelle, serait contraire au principe de la proportionnalité. Il se prévaut à cet égard des art. 5 al. 2 et 36 al. 3 Cst. en lien avec la garantie de la propriété.
4.1. Selon l'art. 27 LAT, s'il n'existe pas de plan d'affectation ou que l'adaptation d'un tel plan s'impose, l'autorité compétente peut prévoir des zones réservées dans des territoires exactement délimités. A l'intérieur de ces zones, rien ne doit être entrepris qui puisse entraver l'établissement du plan d'affectation (al. 1). Une zone réservée ne peut être prévue que pour cinq ans au plus; le droit cantonal peut prolonger ce délai (al. 2). En droit cantonal, l'art. 46 al. 1 LATC (dans sa teneur au 1 er septembre 2018) prévoit que la commune ou le département cantonal peuvent établir des zones réservées pour une durée de cinq ans pouvant être prolongée de trois ans au maximum.
L'établissement d'une zone réservée répond à un intérêt public lorsqu'il y a lieu de modifier un plan d'aménagement, que celui-ci soit ou non conforme au droit (ALEXANDER RUCH, in Commentaire pratique LAT: Planifier l'affectation, 2016, n. 31 ad art. 27). Il s'agit en particulier de garantir aux autorités chargées de l'aménagement du territoire la liberté de planifier et de décider, et d'éviter que des projets de construction viennent entraver cette liberté. Il faut ainsi une nécessité de planifier, assortie d'une intention concrète. Il n'est toutefois pas nécessaire que l'autorité ait déjà une idée précise de la manière dont elle entend redéfinir la zone à bâtir, en particulier lorsque cela ne découle pas d'une simple intention de sa part mais d'une obligation résultant directement de la LAT ou du plan directeur cantonal (RUCH, op. cit., n. 32 ad art. 27). Tel est le cas de l'obligation de réduire les zones à bâtir surdimensionnées prévue à l'art. 15 al. 2 LAT (arrêt 1C_94/2020 du 10 décembre 2020 consid. 3.1).
4.2. La mesure A11 de la 4 ème adaptation du plan directeur cantonal (PDCn) constate que, d'une manière générale, les réserves légalisées de terrains à bâtir sont réparties inégalement entre les communes, et que leur localisation ne répond plus aux critères actuels. Hors des centres, les réserves sont le plus souvent excédentaires. Les communes sont donc tenues de réviser leurs plans d'affectation dans les cinq ans suivant la 4 ème adaptation du PDCn. Un tableau fixe la croissance totale maximale de 2015 à 2030 pour les périmètres compacts d'agglomération et de centre cantonal. Pour les autres types d'espaces, il définit la croissance annuelle maximale, notamment 1,5% pour les périmètres des centres locaux et les périmètres des localités à densifier, et 0,75% pour les villages et quartiers hors centre. La densité minimale des nouvelles zones d'habitation est également fixée, pour les mêmes périmètres (cf. PDCn, mesure A11, p. 48 s.). Les communes dont les zones à bâtir sont surdimensionnées ne peuvent délivrer de permis de construire tant qu'elles n'ont pas redimensionné leurs zones à bâtir si ceux-ci sont susceptibles d'entraver la mise en conformité des planifications ou que les terrains répondent aux qualités de surfaces d'assolement. Elles se fondent notamment sur l'art. 77 aLATC (disposition reprise à l'art. 47 LATC) et peuvent planifier des zones réservées selon l'art. 46 LATC (cf. PDCn, mesure A11, p. 50). Le département compétent peut aussi s'opposer à la délivrance d'un permis de construire si la zone à bâtir est manifestement trop étendue ( Ibidem, p. 51).
4.3. En l'espèce, le Tribunal cantonal a retenu que la surcapacité d'accueil de la Commune de Croy était de 95 habitants selon le rapport 47 OAT; l'autorité cantonale avait pour sa part retenu un surdimensionnement de 178 habitants. Quoi qu'il en fût, ce surdimensionnement obligeait la commune à procéder à une réaffectation importante de parcelles actuellement colloquées en zone à bâtir. L'instauration d'une zone réservée était ainsi justifiée sur le principe. Etendre la zone réservée à l'ensemble de la zone à bâtir communale était par ailleurs de nature à permettre aux autorités communales de procéder à une révision de la planification en ayant une vue de tout le territoire communal. S'agissant plus particulièrement de la parcelle du recourant, au vu de sa situation au sein du milieu bâti, un éventuel déclassement n'apparaissait pas d'emblée exclu, de sorte que celle-ci pouvait également être intégrée dans la zone réservée. L'institution de la zone réservée - et son périmètre - apparaissait ainsi proportionnée à l'objectif d'intérêt public poursuivi, savoir la conservation de la marge de manoeuvre nécessaire à l'autorité pour le redimensionnement de sa zone à bâtir, la révision de la planification n'étant pas achevée.
4.4. Le recourant conteste cette appréciation et affirme que sa parcelle (n o 352) répondrait aux critères de la zone à bâtir de l'art. 15 LAT. Elle se situerait en périmètre centre, serait entièrement équipée et bordée de deux routes d'accès déjà existantes. Son intention de construire serait en outre indiscutable, dès lors qu'il avait déjà reçu un permis d'implantation et qu'il avait en outre sollicité un permis de construire ayant fait l'objet d'une procédure séparée. A suivre le recourant, qui au demeurant ne conteste pas le surdimensionnement de la zone à bâtir communale, on ne verrait pas, dans ces circonstances, comment son bien-fonds pourrait, dans le cadre de la révision de la planification, être soustrait de la surface de la zone à bâtir. Aussi, en englobant son bien-fonds dans la zone réservée, les autorités précédentes auraient-elles violé l'art. 15 LAT, "respectivement les intentions du législateur fédéral, telles qu'elles figurent à l'art. 1 al. 2 let. a bis LAT et art. 1 al. 2 let. b LAT, quant à la densification des surfaces d'habitat dans les zones centre et quant à la configuration et au contenu de la zone à bâtir". Enfin, en ne procédant à aucun examen concret permettant de démontrer que sa parcelle serait nécessaire à la procédure de dézonage, alors que son intégration dans la zone réservée paralysera pendant plusieurs années les possibilités de construire, la cour cantonale aurait violé le principe de la proportionnalité.
4.4.1. En l'occurrence, compte tenu du surdimensionnement de la zone à bâtir communale, il n'est pas douteux - et le recourant ne le nie pas - qu'une adaptation de la planification au sens de l'art. 27 LAT s'impose (cf. ALEXANDER RUCH, in Praxis Kommentar RPG, Nutzungsplanung, 2016, n. 31 ad art. 27). Au stade de l'adoption d'une zone réservée, spécialement lorsque, comme en l'espèce, la révision ne procède pas de l'intention de la commune, mais d'une obligation découlant de l'art. 15 al. 2 LAT, puis du PDCn, il n'est pas nécessaire que l'autorité ait déjà arrêté précisément la manière dont sera redéfinie sa zone à bâtir (cf. arrêts 1C_57/2020 du 3 février 2021 consid. 3.2; 1C_94/2020 du 10 décembre 2020 consid. 3.1). Il n'est dès lors pas pertinent de reprocher à l'instance précédente de n'avoir, à ce stade, pas déterminé s'il n'était pas possible de "dézoner d'autres parcelles moins bien situées". Il apparaît tout aussi prématuré de se plaindre que la parcelle no 352 a été englobée dans la zone réservée alors qu'elle répondrait, aux dires du recourant, aux caractéristiques de la zone à bâtir définies par l'art. 15 LAT. Les réflexions sur l'affectation définitive de la parcelle et, plus largement, sur le sort du secteur concerné, devront être menées séparément, dans le cadre de la révision du PGA.
4.4.2. Par ailleurs, contrairement à ce qu'affirme le recourant, sa parcelle se situe hors du périmètre de centre selon le PDCn, ce que confirme d'ailleurs la DGTL. Il ne saurait dès lors en déduire qu'elle devrait nécessairement être exclue de la zone réservée et maintenue en zone à bâtir. La jurisprudence ne condamne de surcroît pas, en particulier s'agissant de surfaces situées hors centre, l'institution d'une zone réservée s'étendant à l'ensemble de la zone à bâtir communale (arrêts 1C_57/2020 du 3 février 2021 consid. 3.2; 1C_94/2020 du 10 décembre 2020 consid. 3.3; 1C_16/2019 du 18 octobre 2019 consid. 3.2). Quoi qu'en dise le recourant, il ne saurait pas non plus en être ainsi dans le cas présent. En effet, compte tenu de l'important excédent présenté par la zone à bâtir communale, le travail de redimensionnement concerne l'entier de celle-ci (cf. rapport 47 OAT, p. 3); la zone réservée pouvait ainsi être étendue à "toute parcelle comportant des réserves en zone à bâtir pour du logement" (cf. rapport 47 OAT, p. 8), qu'elle soit construite ou non. Cela permet non seulement d'éviter, durant le processus de planification, la réalisation de nouvelles constructions, mais également des travaux de reconstruction ou d'agrandissement, allant au-delà de ce qu'autorise l'art. 3 du règlement de la zone réservée (cf. art. 3 al. 1 à 3 du règlement de zone réservée; dépendances de peu d'importance, rénovations et transformations de bâtiments existants, agrandissements mesurés), susceptibles de dégrader encore la situation de surdimensionnement. Cela garantit également à l'autorité cantonale la marge de manoeuvre suffisante pour procéder au redimensionnement d'ensemble de sa zone à bâtir tel qu'exigé par le droit fédéral (cf. arrêt 1C_57/2020 du 3 février 2021 consid. 3.2).
4.4.3. L'option d'englober l'ensemble de la zone à bâtir destinée à l'habitat apparaît en l'espèce d'autant moins critiquable qu'elle a été prise en vue d'assurer une égalité de traitement entre l'ensemble des propriétaires. Une délimitation ciblée aurait en effet, selon le rapport 47 OAT, engendré des choix subjectifs favorisant ou défavorisant certains propriétaires (cf. rapport 47 OAT, p. 6).
Au stade du recours fédéral, le recourant ne se plaint du reste plus spécifiquement d'une inégalité de traitement. Cependant, en soutenant que sa parcelle ne devrait manifestement pas être concernée par le remaniement de la zone à bâtir, il s'en prévaut à tout le moins indirectement (cf. arrêt 1C_ 16/2019 du 18 octobre 2019 consid. 4.4). Cela étant, et indépendamment de la recevabilité de cette critique (cf. <ref-law>), il n'apparaît pas d'emblée exclu que son bien-fonds puisse être concerné par le remaniement de la zone à bâtir communale, en particulier au regard de sa situation au sein du milieu bâti. Selon les constatations cantonales, que le recourant ne conteste pas valablement (cf. art. 97 al. 1, 105 al. 1 et 106 al. 2 LTF; voir également consid. 2 ci-dessus), sa parcelle se situe en bordure de la zone à bâtir, au sud-est du territoire communal. Même si elle est équipée et entourée pour partie de parcelles construites, elle est relativement grande, ne supporte pour l'heure qu'un bâtiment agricole et demeure pour l'essentiel non construite. Or une telle configuration ne permet pas d'emblée d'exclure nécessairement tout déclassement, dans le cadre de la révision générale du PGA en cours.
4.4.4. La jurisprudence considère enfin qu'en règle générale, une zone réservée satisfait à l'exigence d'aptitude découlant du principe de la proportionnalité puisqu'il s'agit de préserver la liberté de planification de l'autorité compétente (Ruch, op. cit. n° 36 ad art. 27). La règle de la nécessité est également respectée lorsque la zone réservée correspond au périmètre concerné par l'obligation de planifier. Tel est le cas en l'occurrence. Dans le cas d'une zone à bâtir largement surdimensionnée, l'autorité doit en effet étendre sa zone réservée à tous les terrains susceptibles d'être dézonés afin de se ménager une marge de manoeuvre suffisante dans le cadre de la révision de son plan d'affectation à l'échelle de tout le territoire communal (arrêt 1C_518/2019 du 8 juillet 2020 consid. 5). Or, en englobant l'ensemble des zones à bâtir d'habitat et les réserves qu'elles renferment (cf. rapport 47 OAT, p. 8), la zone réservée litigieuse répond à ces critères. Il en va également ainsi en ce qui concerne la parcelle du recourant, dont un dézonage éventuel ne peut - pour les motifs déjà évoqués - d'emblée être exclu, celle-ci renfermant une réserve constructible dont la mise en oeuvre pourrait compromettre les opérations de remaniement de la zone à bâtir. L'existence d'un permis préalable d'implantation pour la réalisation d'immeubles d'habitation n'y change d'ailleurs rien. Celui-ci ne garantit en effet pas la délivrance d'une autorisation de construire définitive, spécialement lorsqu'intervient, dans l'intervalle, l'institution d'une zone réservée adoptée pour répondre à l'intérêt public majeur lié au remaniement des zones à bâtir surdimensionnées (cf. arrêt 1C_168/2019 du 17 janvier 2020 consid. 2.2).
La zone réservée apparaît ainsi proportionnée aux objectifs d'intérêt public poursuivis, à savoir la préservation de la marge de manoeuvre de l'autorité communale nécessaire à la redéfinition et au redimensionnement d'une zone à bâtir conforme au droit fédéral.
4.5. Sur le vu de ce qui précède, la zone réservée litigieuse est en définitive conforme au droit fédéral et doit être confirmée. Mal fondé, le grief est rejeté.
5.
Les considérants qui précèdent conduisent au rejet du recours aux frais du recourant, qui succombe (<ref-law>). La commune, qui agit dans le cadre de ses attributions officielles, n'a pas droit à des dépens (<ref-law>)

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux mandataires du recourant et de la Commune de Croy, au Département des institutions et du territoire du canton de Vaud, à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral du développement territorial.
Lausanne, le 1er avril 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
Le Greffier : Alvarez