Faits: A. D._ est propriétaire de la parcelle n° 338 du registre foncier de la commune de Givrins, sise en zone agricole selon le plan communal des zones. Cette parcelle supporte un hangar d'une surface de 638 m2 dont l'autorisation de construire a été délivrée le 24 avril 1985 par la Municipalité de Givrins (ci-après: la municipalité), lorsque le père et l'oncle de D._ étaient copropriétaires du bien-fonds. Afin de garantir que le bâtiment reste à long terme partie intégrante du domaine agricole, le Service de l'aménagement du territoire du canton de Vaud (actuellement le Service du développement territorial) avait toutefois exigé la création d'un droit de préemption en faveur du propriétaire du domaine agricole en cas de vente du hangar. Le 2 juillet 1985, la municipalité a octroyé une autorisation complémentaire portant sur une partie excavée destinée au stockage de matériel et de vins ainsi que sur l'augmentation de la longueur et de la largeur du hangar de 24 cm. En date du 21 novembre 1985, l'oncle du prénommé a vendu sa part de copropriété à son frère et un droit de préemption en faveur de celui-là a été constitué pour une durée de quinze ans. Le Service de l'aménagement du territoire a délivré, le 14 février 1986, une autorisation pour la création d'une place de lavage avec épuration à l'intérieur du hangar. Le 22 avril 2002, D._, devenu propriétaire dudit hangar par donation, a requis une autorisation de construire hors de la zone à bâtir afin d'agrandir le hangar de 638 m2 à 1'400 m2. Le Service de l'aménagement du territoire a préavisé défavorablement le projet, estimant que la construction envisagée n'était pas conforme à la zone agricole. B. Dès janvier 2006, A._ et B._ ainsi que D._, propriétaires de parcelles voisines, sont intervenus auprès de la municipalité en se plaignant des nuisances sonores et du trafic provoqués par l'exploitation de la parcelle n° 388. Le 22 septembre 2006, ils ont saisi le Service du développement territorial par la voie d'une dénonciation. Ils ont fait valoir un changement d'affectation du hangar susmentionné, intervenu en violation des art. 24a à 24d de la loi fédérale sur l'aménagement du territoire du 22 juin 1979 (LAT; RS 700) et des art. 52 et 81 de loi cantonale sur l'aménagement du territoire et les constructions (LATC; RSV 700.11) ainsi qu'un dépassement des valeurs limites d'exposition au bruit au sens de la loi fédérale sur la protection de l'environnement du 7 octobre 1983 (LPE; RS 814.01) et de l'ordonnance sur la protection contre le bruit (OPB; RS 814.41). Au cours de cette procédure, D._ a fourni une liste de ses machines agricoles comprenant, au 30 octobre 2006, quatre moissonneuses-batteuses, trois "ensileuses", trois tracteurs, un "télescopique de manutention", trois presse-balles carrées, cinq remorques d'ensilage et un épandeur à fumier. Le Service du développement territorial a procédé à une inspection locale le 19 juin 2007. Il a constaté à cette occasion qu'un atelier, un carnotzet, une douche et des toilettes avaient été aménagés au sous-sol du hangar, qu'une place de déblai avait été créée à l'extérieur du hangar, que plusieurs engins et machines agricoles y étaient entreposés et qu'un soliveau avait été réalisé à l'intérieur. Par décision du 14 novembre 2007, le Service du développement territorial a ordonné de supprimer l'atelier de réparation mécanique, la douche, les toilettes et le carnotzet situés dans le sous-sol du hangar, de faire disparaître la place réalisée en déblai au nord-ouest du hangar et de remettre les lieux dans l'état initial, d'évacuer toutes les machines, véhicules, remorques ou engins agricoles stationnant aux abords du hangar (seul un stationnement occasionnel de cinq machines au maximum à l'extérieur du hangar pouvait être toléré pendant la période des travaux des champs). Relevant l'absence de lien fonctionnel direct entre l'entreprise de travaux pour tiers qui constitue l'activité principale de D._ et le domaine agricole, le Service du développement territorial a considéré que le hangar litigieux n'était plus conforme à la zone agricole. Il a exposé qu'au contraire, en 1985, le domaine agricole était en copropriété de l'oncle et du père de l'intimé D._, l'un exploitant plutôt le bétail et ne disposant que d'un hangar trop exigu, l'autre collaborant aux travaux des champs tout en dirigeant une entreprise de battage: la surface du hangar autorisé ne couvrait ainsi pas uniquement les besoins de l'entreposage des machines de l'entreprise de battage du père de l'intimé D._, mais également ceux de l'entreprise agricole que celui-ci exploitait avec son frère. Toutefois, avant de statuer sur le caractère admissible ou non du changement d'affectation, le Service du développement territorial a imposé le dépôt d'une requête de permis de construire portant sur ce changement d'affectation, afin de le mettre à l'enquête publique. C. Par acte du 5 décembre 2007, D._ a déposé un recours contre cette décision auprès du Tribunal administratif du canton de Vaud (devenu la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud; ci-après: le Tribunal cantonal). Le 28 avril 2008, les juges cantonaux ont tenu une audience et procédé à une inspection locale en présence des parties. Ils ont notamment constaté la présence d'environ seize machines dans le hangar et celle d'un local abritant divers matériels dont un tour destiné à la fabrication de certaines pièces. Par arrêt du 19 janvier 2009, le Tribunal cantonal a admis le recours, annulé la décision du Service du développement territorial du 14 novembre 2007 et lui a renvoyé le dossier pour nouvelle décision quant à la régularisation des aménagements opérés dans le sous-sol du hangar. En outre, il a considéré en substance qu'il n'y avait pas de changement d'affectation du hangar par rapport à sa configuration autorisée initialement. D. Agissant par la voie du recours en matière de droit public, A._ et B._ ainsi que C._ demandent au Tribunal fédéral de confirmer la décision du Service du développement territorial du 14 novembre 2007 et de lui renvoyer le dossier pour impartir dès le rendu de la décision un délai d'un mois à D._ pour déposer une requête de permis de construire et mettre à l'enquête publique le changement d'affectation opéré sur le hangar litigieux. Les recourants font notamment valoir un établissement inexact des faits ainsi qu'une violation des art. 16, 22, 24a et 25 LAT.