Faits : A. A.A._ est propriétaire à Saint-Barthélemy de la parcelle n° 234. Ce bien-fonds, qui provient du fractionnement d'une parcelle que le frère de A.A._ avait reçu de leur père, présente une forme insolite: au nord-est, une étroite bande de terrain d'environ 50 m de long sert d'accès à la route cantonale; une partie centrale de forme approximativement triangulaire d'environ 1'000 m2 supporte la maison d'habitation dans laquelle A.A._ vit avec son épouse B.A._; enfin, au sud-ouest et à nouveau reliée par une mince bande de terrain, une surface approximativement rectangulaire d'environ 1'400 m2 supporte une dépendance de 25 m2, divers parcs à poules ainsi qu'un poulailler et une bergerie. Le terrain présente une légère pente en direction du sud-ouest. Un remblai a été aménagé devant les façades sud-ouest et nord-ouest de la maison d'habitation pour former une terrasse plane, en partie dallée et en partie en pelouse, jusqu'à une distance d'environ huit à dix mètres des façades. Au-delà du talus créé par ce remblai, le reste du terrain est en nature de pré-champ. La partie centrale de la parcelle n° 234 est bordée au sud et à l'est par la parcelle n° 403 - dont l'affectation n'est pas litigieuse en l'espèce -, propriété de B.A._, sur laquelle se trouve un bâtiment commercial. La partie de ce terrain située au sud de la partie centrale de la parcelle n° 234 est en nature de pré-champ. Selon le plan des zones approuvé par le Conseil d'Etat le 31 janvier 1979, la partie nord-est de la parcelle n° 234 - de la route cantonale jusqu'au-delà des façades nord-ouest et sud-ouest du bâtiment d'habitation -, est affectée en zone du village. Le reste, où se trouvent notamment les divers parcs à poules, poulailler et bergerie, est affecté à la zone agricole. A.a. Le 4 octobre 2005, respectivement le 10 janvier 2006, le Conseil communal de Saint-Barthélemy et le Département vaudois des institutions et des relations extérieures (devenu depuis le Département du territoire et de l'environnement [DTE]) ont adopté un nouveau plan général d'affectation des zones (PGA) et son règlement. Les oppositions des époux A.A._ et B.A._ ayant été levées à cette occasion, ceux-ci ont recouru contre ces décisions auprès du Tribunal administratif vaudois (devenu depuis la Cour de droit administratif et public du Tribunal cantonal vaudois [CDAP]). Alors que la nouvelle planification prévoyait le statu quo s'agissant de la parcelle n° 234, les époux A.A._ et B.A._ concluaient à l'affectation en zone de village de la partie du terrain aménagée en terrasse, subsidiairement à l'extension du plan partiel d'affectation "Champ Cadet" à la parcelle litigieuse. Par arrêt du 13 décembre 2007 (AC.2006.0012), le Tribunal administratif a partiellement admis le recours, annulé l'approbation du plan en ce qui concernait la parcelle n° 234, et renvoyé le dossier aux autorités communales pour qu'elles modifient l'affectation de la parcelle conformément aux considérants de l'arrêt. Le tribunal avait en substance considéré que la limite entre zone à bâtir et zone agricole pour la parcelle n° 234 manquait de cohérence par rapport à la parcelle voisine située au nord-ouest et qu'il convenait de classer en zone de dégagement une portion jusqu'alors affectée en zone agricole de la parcelle n° 234. Alors qu'elle entendait tout d'abord simplement exécuter la décision du Tribunal administratif en indiquant la modification de l'affectation d'une partie de la parcelle n° 234 de la zone agricole à la zone de dégagement sur les plans approuvés, la municipalité a, à la demande des époux A.A._ et B.A._, engagé une procédure complète de modification du PGA. A.b. Le 28 octobre 2013, respectivement le 20 novembre 2013, le conseil communal et le département cantonal compétent ont approuvé le changement d'affectation d'une partie de la parcelle n° 234 de la zone agricole à la zone de dégagement. Les époux A.A._ et B.A._ ont recouru auprès de la CDAP contre ces décisions et contre la levée de leur opposition, demandant que la zone de dégagement soit étendue sur tout ou partie du solde de la parcelle n° 234 non affecté en zone du village. Par arrêt du 29 juillet 2015, constatant que le conseil communal n'avait pas été en possession de tous les éléments d'appréciation nécessaires pour statuer en pleine connaissance de cause sur l'opposition des intéressés, la CDAP a annulé les décisions contestées et renvoyé le dossier à l'autorité communale pour qu'elle statue à nouveau. Les considérants de l'arrêt précisaient que cela ne signifiait pas que le conseil communal était contraint d'étendre la zone de dégagement, mais seulement qu'il devait pourvoir statuer en pleine connaissance de cause en fonction des éléments de fait et de droit déterminants pour apprécier correctement la situation juridique et prendre en considération l'ensemble des circonstances qui entraient en ligne de compte. B. Le 7 juin 2016, le conseil communal, levant une nouvelle opposition des époux A.A._ et B.A._, a approuvé la modification du PGA consistant en l'affectation en zone de dégagement d'en viron 750 m2 de la parcelle n° 234 auparavant affectés en zone agricole. Il s'agit en substance de la partie bordant la maison d'habitation, au sud et à l'ouest du triangle central de la parcelle. Le DTE a approuvé cette modification par décision du 16 septembre 2016. Saisie d'un recours des époux A.A._ et B.A._ qui souhaitaient voir la procédure de planification reconduite depuis le début en vue du classement en zone de dégagement de toute la partie de parcelle non affectée à la zone du village, la CDAP a confirmé ces décisions par arrêt du 14 septembre 2018. C. Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral d'annuler l'arrêt cantonal et les décisions d'approbation du plan d'affectation et de renvoyer la cause à la commune et au département pour nouvelles décisions dans le sens des considérants. Subsidiairement, ils concluent à l'annulation de l'arrêt cantonal et au renvoi de la cause à la CDAP pour qu'elle statue à nouveau après avoir fait verser au dossier les documents dont ils requièrent la production et procédé à une inspection locale. Plus subsidiairement, les époux A.A._ et B.A._ concluent à la réforme de l'arrêt cantonal en ce sens que les décisions d'approbation du plan d'affectation sont annulées et la cause renvoyée à la commune et au département pour nouvelles décisions dans le sens des considérants. Les recourants requièrent en outre une inspection des lieux par le Tribunal fédéral.