Faits :
A.
La Municipalité de Ferreyres a entrepris courant 2008 une révision de son plan général d'affectation (PGA), ainsi que de son plan des zones et règlement, tous trois adoptés le 24 mai 1991. Le projet de révision a été mis à l'enquête publique en été 2013.
Le nouveau PGA confirme la délimitation des zones à bâtir actuelles dans le village et propose quelques extensions par rapport à la situation actuelle dans le prolongement immédiat du bâti existant, équivalant à 20 habitants supplémentaires. En dehors de la localité, le projet prévoit notamment l'abrogation du plan de quartier (PQ) "La Bruyère sur la Tine" des 14 août 1985 et 9 juillet 1993. Ce plan de quartier est divisé en deux phases de construction, dont l'une n'a pas encore été réalisée. Le nouveau PGA prévoit d'affecter une partie des parcelles du périmètre de ce plan de quartier en zone de très faible densité, à l'exception de la parcelle n° 150, affectée pour l'essentiel en zone protégée des couloirs de la Venoge et du Veyron, deux cours d'eau faisant l'objet d'un plan d'affectation cantonal (PAC Venoge). Les parcelles nos 151, 171 et 172 encore libres de construction permettraient de recevoir les 20 habitants supplémentaires. Les parcelles nos 142 et 143, partiellement bâties, peuvent accueillir 16 habitants supplémentaires.
A.A._ et B.A._ sont copropriétaires de plusieurs parcelles sur le territoire communal de Ferreyres, sises pour la plupart en zone agricole. Ils sont notamment propriétaires de la parcelle n° 15 d'une surface de 50'400 m2 affectée en zone agricole. Celle-ci comporte un bâtiment agricole de 289 m2 situé à proximité du bourg de Ferreyres. A teneur du nouveau PGA mis à l'enquête publique en 2013, cette parcelle restait colloquée en zone agricole.
La planification a suscité plusieurs oppositions, dont celle de A.A._ et B.A._. Des discussions sont intervenues entre la Municipalité et les intéressés. Il en est notamment ressorti que la portion de la parcelle n° 15 supportant le bâtiment pouvait être intégrée dans la zone constructible de centre historique. Cela créait une zone constructible d'environ 700 m2 permettant la construction de trois logements dans ce bâtiment selon le nouveau règlement du PGA (RPGA).
Dans la version finale du projet, mise à l'enquête publique en été 2014, l'accroissement total de la population par rapport à celle de décembre 2008 était de 62 habitants, soit 20.8 %. A.A._ et B.A._ ont à nouveau formé opposition. Ils contestaient notamment l'art. 8.2 RPGA en vertu duquel le nombre d'appartements pouvant être créés dans le bâtiment de la parcelle n° 15 était limité à trois puisque la portion constructible de la parcelle était en définitive fixée à 793 m2. Ils requéraient une augmentation de la capacité constructive sur cette parcelle, de façon à pouvoir créer cinq logements.
B.
Dans sa séance du 18 février 2015, le Conseil général de Ferreyres a levé ou déclaré irrecevables les oppositions et adopté le plan général d'affectation. Celui-ci a ensuite été approuvé le 7 juillet 2015 par le Département vaudois du territoire et de l'environnement (DTE). Saisie d'un recours de A.A._ et B.A._, la Cour de droit administratif et public du Tribunal cantonal vaudois a confirmé ces décisions.
C.
Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que les décisions levant les oppositions et approuvant le PGA sont annulées, la cause étant renvoyée à la commune et au département pour nouvelle décision dans le sens des considérants. Subsidiairement, les recourants concluent à l'annulation de l'arrêt cantonal et au renvoi de la cause à la CDAP pour nouvelle décision dans le sens des considérants.

La cour cantonale se réfère aux considérants de son arrêt et conclut au rejet du recours. Le Service cantonal du développement territorial (SDT) et la commune de Ferreyres se déterminent. Ils concluent également au rejet du recours. Consulté, l'Office fédéral du développement territorial, qui considère que l'arrêt cantonal est conforme au droit fédéral, renonce à se déterminer dans le détail.
Les recourants répliquent et persistent dans leurs conclusions.
Par ordonnance du 9 décembre 2016, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif présentée par les recourants.
Considérant en droit :
1.
Le recours est dirigé contre un arrêt rendu en dernière instance cantonale confirmant l'approbation d'un plan d'affectation communal. Le recours est dès lors en principe recevable comme recours en matière de droit public selon les <ref-law> et 34 al. 1 de la loi fédérale sur l'aménagement du territoire (LAT; RS 700), aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants ont pris part à la procédure devant l'autorité précédente. Propriétaires de parcelles comprises dans le territoire communal, ils sont particulièrement touchés par l'arrêt attaqué qui confirme l'adoption du plan général d'affectation. Ils ont ainsi un intérêt digne de protection à son annulation ou sa modification et disposent dès lors de la qualité pour recourir au sens de l'<ref-law>.
Les autres conditions de recevabilité sont réunies si bien qu'il y a lieu d'entrer en matière sur le recours.
2.
Les recourants demandent tout d'abord que l'état de fait de l'arrêt attaqué soit complété.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, la partie recourante ne peut critiquer la constatation de faits que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte - en particulier en violation de l'interdiction constitutionnelle de l'arbitraire - et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause. Si le recourant entend se prévaloir de constatations de faits différentes de celles de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui retenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 10.1 p. 445; <ref-ruling> consid. 5.1 p. 356 et les arrêts cités).
La pertinence des faits allégués par les recourants et leur incidence décisive sur l'issue de la cause seront examinées ci-dessous au fur et à mesure des griefs auxquels ils se rattachent.
3.
Les recourants se plaignent d'une violation de leur droit d'être entendus au motif que certains de leurs moyens n'auraient pas été discutés par la cour cantonale. Celle-ci aurait omis de statuer sur leur critique de l'échéance à laquelle la zone à bâtir devrait être définie. Elle n'aurait en outre pas examiné l'allégation de violation de l'art. 15 LAT du fait que la planification privilégierait le développement hors localité en créant une petite zone à bâtir isolée.
Selon la jurisprudence, l'autorité qui ne traite pas un grief relevant de sa compétence, motivé de façon suffisante et pertinent pour l'issue du litige commet un déni de justice formel proscrit par l'art. 29 al. 1 Cst. (<ref-ruling> consid. 4.2 p. 157; <ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2.3 p. 232). De même, la jurisprudence a déduit du droit d'être entendu de l'art. 29 al. 2 Cst. l'obligation pour l'autorité de motiver sa décision, afin que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 2.1 p. 145; <ref-ruling> consid. 5.1 p. 237; <ref-ruling> consid. 4.2 p. 355). La motivation d'une décision est suffisante lorsque l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé son raisonnement. L'autorité ne doit toutefois pas se prononcer sur tous les moyens des parties; elle peut se limiter aux questions décisives (<ref-ruling> consid. 4.2 p. 157; <ref-ruling> consid. 3.2 p. 270; <ref-ruling> consid. 5.2 p. 236). La motivation peut pour le reste être implicite et résulter des différents considérants de la décision (cf. arrêts 1C_167/2015 du 18 août 2015 consid. 3; 2C_23/2009 du 25 mai 2009 consid. 3.1, publié in RDAF 2009 II p. 434).
Comme pour l'établissement des faits, ce grief sera examiné ci-dessous avec les questions de fond qu'il concerne.
4.
Les recourants se plaignent de ce que la période de quinze ans dont la planification doit couvrir les besoins selon l'art. 15 LAT n'est pas respectée. Selon les directives cantonales, elle devrait courir à compter de l'adoption du plan et non dès son élaboration, contrairement à ce qu'ont pris en considération les autorités de planification.
L'art. 15 al. 1 LAT prescrit que les zones à bâtir sont définies de telle manière qu'elles répondent aux besoins prévisibles pour les quinze années suivantes. La loi ne se prononce pas sur la manière exacte dont le besoin doit être calculé. Dès lors que le texte parle de besoins "prévisibles", il n'est pas possible de procéder à un calcul exact (AEMISSEGGER/KISSLING, Commentaire pratique LAT: planifier l'affectation, 2016, n° 47 ad art. 15 LAT; WALDMANN/HÄNNI, Raumplanungsgesetz, 2006, n° 32 ad art. 15 LAT). Même le cadre temporel ne peut pas être interprété de manière trop absolue. Les quinze ans sont un indicateur qui signale que les zones à bâtir ne doivent être dimensionnées ni pour un horizon trop proche ou moyen (5-10 ans) ni pour un horizon trop éloigné (20-30 ans) (AEMISSEGGER/KISSLING, op. cit., n° 48 ad art. 15 LAT). Il s'agit d'un élément de décision cumulatif à d'autres, qui doit être combiné aux autres principes de la planification (WALDMANN/HÄNNI, op. cit., n° 34 ad art. 15 LAT). En l'occurrence, le plan directeur cantonal a certes fixé des échéances et des projections démographiques précises - fait dont se prévalent les recourants en vertu de l'<ref-law>. Il n'en demeure pas moins qu'il s'agit d'estimations pour lesquelles une certaine souplesse doit être admise.
La planification est en outre une procédure qui peut s'inscrire sur une période de plusieurs années et sa durée est notamment tributaire des oppositions, pouvant cas échéant donner lieu à modifications, enquêtes complémentaires, puis d'éventuelles nouvelles modifications. Tel a été le cas en l'occurrence.
Dans de telles circonstances, la prise en considération des projections cantonales à l'horizon 2028 pour une planification mise à l'enquête publique en été 2013 puis, en réponse aux doléances de certains opposants, modifiée, mise une nouvelle fois à l'enquête en 2014 et finalement adoptée en 2015, est conforme à l'art. 15 LAT.
Pour ces mêmes motifs, en particulier la différence ténue de deux ans comme échéance temporelle dont tentent de se prévaloir les recourants, on ne saurait considérer que la cour cantonale a violé le droit d'être entendus de ceux-ci en omettant de discuter ce point en particulier. En effet, procédant à un examen global de la conformité de la planification à l'art. 15 LAT, si elle n'a certes pas répondu expressément à la critique des recourants, on comprend qu'elle a implicitement jugé l'horizon 2028 (et non 2030 comme le souhaiteraient les recourants) comme une échéance acceptable pour l'évaluation du respect de la loi fédérale.
5.
Les recourants font valoir une violation des art. 3 al. 2 et 15 al. 3 LAT en raison du développement d'une zone à bâtir hors du bourg, soit au lieu-dit En Bruyère, distant de la parcelle n° 15 de plus d'un km, et dans le périmètre du PAC Venoge. Ils se plaignent en outre à cet égard d'une violation du principe de l'interdiction de l'arbitraire en raison du non-respect du plan directeur cantonal.
5.1. La commune intimée, représentée par son organe exécutif, conteste que les recourants aient qualité pour se plaindre du classement en zone à bâtir d'un secteur sans lien avec leur parcelle dans le seul but de répartir différemment les droits à bâtir au sein du territoire communal. Il n'est pas d'emblée exclu que les recourants aient un intérêt à l'admission d'un tel grief si l'on considère que le planificateur communal pourrait décider de répartir le potentiel de croissance différemment, en faveur des recourants (en ce sens <ref-ruling> consid. 2.6 p. 54 s). La question de savoir si un tel cas de figure est plausible en l'espèce peut toutefois demeurer indécise, le grief devant quoi qu'il en soit être rejeté sur le fond pour les motifs exposés ci-dessous.
5.2. L'art. 3 al. 2 LAT prescrit que le paysage doit être préservé, notamment en conservant les sites naturels et les territoires servant au délassement. Selon l'art. 15 al. 3 LAT, l'emplacement et la dimension des zones à bâtir doivent être coordonnés par-delà les frontières communales en respectant les buts et les principes de l'aménagement du territoire; en particulier, il faut maintenir les surfaces d'assolement et préserver la nature et le paysage.
Les mesures A11 et B12 du plan directeur cantonal (PDCn) dont se prévalent les recourants prévoient en substance le renforcement et la densification des centres des villes et des villages.
5.3. Ce secteur est certes isolé du centre de Ferreyres. Il est toutefois déjà partiellement bâti et, surtout, contigu à la zone à bâtir de la commune voisine, elle-même désignée comme centre régional selon le PDCn (rapport d'aménagement 47 OAT du 13 mai 2013, p. 3). Aussi ne saurait-on le considérer comme une zone à bâtir isolée, l'aménagement du territoire ne devant pas être limité par les frontières communales. L'état de fait de l'arrêt attaqué ne saurait ainsi être précisé en ce sens. De même, vu le caractère manifeste de ce qui précède, que la cour cantonale n'ait pas pris la peine de répondre expressément à cette critique dans le cadre de son examen global de la conformité du plan à l'art. 15 LAT ne viole pas le droit d'être entendus des recourants.
En revanche, il est admis que le secteur concerné se trouve en partie dans le périmètre 2 et en partie dans le périmètre 3 du PAC Venoge, dont les recourants disent qu'ils devraient être préservés de toutes constructions. Tant les autorités communales que les instances cantonales ont essentiellement justifié le classement en zone à bâtir de ce secteur par le fait que celui-ci était précédemment déjà affecté en zone constructible, que le nouveau plan en réduisait considérablement le périmètre et la densité et qu'une telle mesure allait par conséquent dans le sens du voulu par le PDCn. Cette explication est discutable dès lors qu'elle ne procède pas à un véritable contrôle de la conformité du nouveau plan aux instruments légaux. Une amélioration de la situation - apparemment peu compatible avec les plans cantonaux jusqu'ici - ne signifie en effet pas nécessairement qu'elle soit désormais conforme au droit.
Cela étant, les recourants ne s'expriment pas sur la nature de l'atteinte au paysage qu'ils allèguent. S'agissant de l'appréciation de circonstances locales, il y a dès lors lieu de s'en tenir à l'avis des autorités communales et cantonales (<ref-ruling> consid. 6.1 p. 181; <ref-ruling> consid. 4.3 p. 416 et les arrêts cités). En réalité, les recourants se contentent d'affirmer appellatoirement que la répartition du potentiel de développement pour les nouveaux habitants prévisible doit être privilégiée dans le centre du village. Méconnaissant le fait que le secteur controversé n'est pas isolé et omettant d'indiquer en quoi la préservation du paysage s'opposerait à son affectation en zone constructible, les recourants se contentent de faire valoir leur solution qu'ils souhaiteraient - sans motif objectif - voir préférée à celle retenue par les autorités de planification.
En outre, les recourants n'exposent pas les dispositions du PAC Venoge dont ils se prévalent. Or, à cet égard, la cour cantonale s'est référée à l'art. 25 du règlement du PAC Venoge, à teneur duquel l'extension de zones à bâtir est exclue et leur déclassement est prescrit lorsque celles-ci entrent en conflit avec la protection des couloirs des cours d'eau. Elle a indiqué que la solution retenue relevait du compromis entre la protection du paysage et un développement mesuré dans un environnement déjà partiellement bâti. On ne voit pas en quoi cette appréciation serait contraire au PAC Venoge. Cela n'est au demeurant pas en contradiction avec les faits dont les recourants demandaient la constatation, à savoir que certaines des parcelles concernées n'étaient pas encore bâties.
En définitive, vu ce qui précède, l'affectation du secteur "En Bruyères" en zone à bâtir est conforme aux prescriptions du droit fédéral relatives à la prise en compte de l'intérêt à la préservation du paysage et à la densification des milieux bâtis (art. 1 al. 2 let. a biset b LAT).
Le grief doit dès lors être écarté.
6.
Les recourants considèrent que l'art. 8.2 RPGA ne permet pas d'exploiter pleinement le volume de la construction sise sur leur parcelle n° 15. En confirmant cette disposition communale, la cour cantonale aurait violé les art. 3 al. 3 let. a biset 33 al. 3 let. b LAT, faute d'avoir exercé un contrôle en opportunité.
6.1. L'art. 3 al. 3 let. a bis LAT prescrit de prendre les mesures propres à assurer une meilleure utilisation des friches dans les zones à bâtir, ainsi que des surfaces sous-utilisées ou des possibilités de densification des surfaces de l'habitat. Il faut donc combiner les mesures visant la densification avec les mesures de promotion de la qualité de l'urbanisation (Message du 20 janvier 2010 relatif à une révision partielle de la loi sur l'aménagement du territoire; FF 2010 980 ch. 2.3.4). La disposition précitée fait en effet partie des principes régissant l'aménagement du territoire qui donnent un cadre dans lequel le pouvoir d'appréciation peut être exercé (TSCHANNEN, Commentaire de la loi fédérale sur l'aménagement du territoire, 2010, n° 14 ad art. 3 LAT). Les principes de l'art. 3 LAT doivent être respectés par toutes les autorités qui exercent des activités ayant des effets sur l'organisation du territoire (DFJP/OFAT, Etude relative à la loi fédérale sur l'aménagement du territoire, 1981, n° 1 ad art. 3 LAT). Combinés avec les buts de l'art. 1 LAT, ces principes ne constituent pas un système exempt de toute contradiction, mais doivent être intégrés à une pesée générale des intérêts en vue de la meilleure concordance possible. Qu'il faille harmoniser ces intérêts entre eux ne doit pas remettre en cause le caractère contraignant de leur prise en considération. Les principes de l'aménagement du territoire sont ainsi justiciables et opposables au législateur (arrêt 1C_157/2014 du 4 novembre 2015 consid. 3.3 et les réf. citées).
L'art. 33 LAT impose aux cantons d'instituer une protection juridique, en matière de plans d'affectation, et de prévoir "qu'une autorité de recours au moins ait un libre examen" (art. 33 al. 3 let. b LAT). Selon la jurisprudence, le libre examen dont doit disposer l'autorité de recours cantonale, en vertu de l'art. 33 al. 3 let. b LAT, ne se réduit pas à un contrôle de la constatation des faits et de l'application du droit; il comporte aussi un contrôle de l'opportunité. L'autorité doit vérifier que la planification contestée devant elle soit juste et adéquate. Son rôle spécifique d'autorité de recours ne se confond toutefois pas avec celui de l'organe compétent pour adopter le plan; elle doit préserver la liberté d'appréciation dont celui-ci a besoin dans l'accomplissement de sa tâche (art. 2 al. 3 LAT). Cette liberté d'appréciation implique qu'une mesure d'aménagement appropriée doit être confirmée; l'autorité de recours n'est pas habilitée à lui substituer une autre solution qui serait également convenable. Elle suppose également que le contrôle de l'opportunité s'exerce avec retenue sur des points qui concernent principalement des intérêts locaux, tandis que, au contraire, la prise en considération adéquate d'intérêts d'ordre supérieur, dont la sauvegarde incombe au canton, doit être imposée par un contrôle strict (<ref-ruling> consid. 3b/aa p. 242; arrêts 1C_365/2010 du 18 janvier 2011, consid. 2.3. non publié in <ref-ruling>; 1C_82/2008 du 28 mai 2008, consid. 6.1 non publié in <ref-ruling>).
6.2. L'art. 8.2 RPGA limite le nombre de logements réalisables par parcelle à un logement au plus par tranche de 250 m2 de terrain classé en zone de centre historique. Pour se faire une meilleure idée de la situation, on peut tenir compte également de l'art. 8.1 RPGA, comme le demandent les recourants, qui prévoit que les bâtiments de la zone de centre historique sont, dans la règle, conservés. Les logements que les recourants sont en droit d'aménager devront donc vraisemblablement être réalisés dans le bâtiment agricole existant. Cette règle n'a toutefois pas une incidence décisive sur le nombre d'appartements réalisables sur la parcelle n° 15: que le bâtiment soit conservé ou non, le nombre de logements pouvant être autorisés dépend de la seule surface de terrain classé - en l'occurrence 793 m2, soit 3 logements.
La cour cantonale s'est référée au droit cantonal dont elle a constaté qu'il laissait au planificateur communal une large marge de manoeuvre pour définir la mesure d'utilisation du sol. Elle a en outre constaté que la disposition réglementaire respectait les principes de l'aménagement du territoire. Les premiers juges, reprenant l'appréciation du SDT, ont considéré que cette mesure de limitation de la densité n'était ni illégale, ni contraire à l'équité ou à la planification supérieure. Ils ont observé qu'elle n'était certes pas particulièrement adaptée à un bâtiment aussi volumineux que le bâtiment agricole des recourants, mais que les trois appartements que cette réglementation leur permettait d'aménager étaient suffisants. Elle a du reste modéré cette appréciation en relevant que la disposition réglementaire était destinée à la zone de centre historique dans son ensemble, et l'a jugée appropriée dans ce contexte. Celle-ci se justifiait au demeurant par l'affectation mixte de la zone. Evaluée à la seule échelle du cas des recourants, la solution prescrite par le RPGA, outre qu'elle est conforme au droit supérieur, se défend en effet au motif que, comme le relève à juste titre l'autorité communale, la zone de centre historique est une zone d'affectation mixte; cela permet en réalité aux recourants d'exploiter les volumes dont ils disposent au-delà des trois appartements admis par le RPGA. De ce point de vue, la réglementation ne nuit en rien aux objectifs de densification poursuivis par la LAT et va au contraire dans le sens du maintien d'un milieu bâti favorable à l'exercice des activités économiques (art. 1 al. 2 let. b bis LAT).
Ainsi, en validant le choix opéré par le planificateur communal en conformité avec le droit supérieur, la cour cantonale a statué en respect des art. 2 al. 3 et 33 al. 3 let. b LAT. Cet examen relève en effet d'un contrôle de l'opportunité exercé, comme le prescrit la jurisprudence, avec retenue.
7.
Sur le vu de ce qui précède, le recours doit être rejeté et l'arrêt cantonal confirmé. Les recourants, qui succombent, s'acquitteront des frais de justice (<ref-law>). La commune, qui a agi dans l'exercice de ses attributions officielles, n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais de justice, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3.
Le présent arrêt est communiqué aux mandataires des recourants et de la Commune de Ferreyres, au Département du territoire et de l'environnement du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral du développement territorial.
Lausanne, le 20 décembre 2017
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Merkli
La Greffière : Sidi-Ali