Faits : A. La Municipalité de Ferreyres a entrepris courant 2008 une révision de son plan général d'affectation (PGA), ainsi que de son plan des zones et règlement, tous trois adoptés le 24 mai 1991. Le projet de révision a été mis à l'enquête publique en été 2013. Le nouveau PGA confirme la délimitation des zones à bâtir actuelles dans le village et propose quelques extensions par rapport à la situation actuelle dans le prolongement immédiat du bâti existant, équivalant à 20 habitants supplémentaires. En dehors de la localité, le projet prévoit notamment l'abrogation du plan de quartier (PQ) "La Bruyère sur la Tine" des 14 août 1985 et 9 juillet 1993. Ce plan de quartier est divisé en deux phases de construction, dont l'une n'a pas encore été réalisée. Le nouveau PGA prévoit d'affecter une partie des parcelles du périmètre de ce plan de quartier en zone de très faible densité, à l'exception de la parcelle n° 150, affectée pour l'essentiel en zone protégée des couloirs de la Venoge et du Veyron, deux cours d'eau faisant l'objet d'un plan d'affectation cantonal (PAC Venoge). Les parcelles nos 151, 171 et 172 encore libres de construction permettraient de recevoir les 20 habitants supplémentaires. Les parcelles nos 142 et 143, partiellement bâties, peuvent accueillir 16 habitants supplémentaires. A.A._ et B.A._ sont copropriétaires de plusieurs parcelles sur le territoire communal de Ferreyres, sises pour la plupart en zone agricole. Ils sont notamment propriétaires de la parcelle n° 15 d'une surface de 50'400 m2 affectée en zone agricole. Celle-ci comporte un bâtiment agricole de 289 m2 situé à proximité du bourg de Ferreyres. A teneur du nouveau PGA mis à l'enquête publique en 2013, cette parcelle restait colloquée en zone agricole. La planification a suscité plusieurs oppositions, dont celle de A.A._ et B.A._. Des discussions sont intervenues entre la Municipalité et les intéressés. Il en est notamment ressorti que la portion de la parcelle n° 15 supportant le bâtiment pouvait être intégrée dans la zone constructible de centre historique. Cela créait une zone constructible d'environ 700 m2 permettant la construction de trois logements dans ce bâtiment selon le nouveau règlement du PGA (RPGA). Dans la version finale du projet, mise à l'enquête publique en été 2014, l'accroissement total de la population par rapport à celle de décembre 2008 était de 62 habitants, soit 20.8 %. A.A._ et B.A._ ont à nouveau formé opposition. Ils contestaient notamment l'art. 8.2 RPGA en vertu duquel le nombre d'appartements pouvant être créés dans le bâtiment de la parcelle n° 15 était limité à trois puisque la portion constructible de la parcelle était en définitive fixée à 793 m2. Ils requéraient une augmentation de la capacité constructive sur cette parcelle, de façon à pouvoir créer cinq logements. B. Dans sa séance du 18 février 2015, le Conseil général de Ferreyres a levé ou déclaré irrecevables les oppositions et adopté le plan général d'affectation. Celui-ci a ensuite été approuvé le 7 juillet 2015 par le Département vaudois du territoire et de l'environnement (DTE). Saisie d'un recours de A.A._ et B.A._, la Cour de droit administratif et public du Tribunal cantonal vaudois a confirmé ces décisions. C. Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que les décisions levant les oppositions et approuvant le PGA sont annulées, la cause étant renvoyée à la commune et au département pour nouvelle décision dans le sens des considérants. Subsidiairement, les recourants concluent à l'annulation de l'arrêt cantonal et au renvoi de la cause à la CDAP pour nouvelle décision dans le sens des considérants.