Faits: A. G._ est propriétaire de la parcelle n° 338 du registre foncier de la commune de Givrins, sise en zone agricole selon le plan communal des zones. Cette parcelle supporte un hangar d'une surface de 638 m 2 dont l'autorisation de construire a été délivrée le 24 avril 1985 par la Municipalité de Givrins (ci-après: la Municipalité), lorsque le père et l'oncle de G._ étaient copropriétaires du bien-fonds. Afin de garantir que le bâtiment reste à long terme partie intégrante du domaine agricole, le Service de l'aménagement du territoire du canton de Vaud (actuellement le Service du développement territorial) avait toutefois exigé la création d'un droit de préemption en faveur du propriétaire du domaine agricole en cas de vente du hangar. Le 2 juillet 1985, la Municipalité avait octroyé une autorisation complémentaire portant sur une partie excavée destinée au stockage de matériel et de vins ainsi que sur l'augmentation de la longueur et de la largeur du hangar de 24 cm. En date du 21 novembre 1985, l'oncle du prénommé avait vendu sa part de copropriété à son frère et un droit de préemption en faveur de celui-là avait été constitué pour une durée de quinze ans. Le Service de l'aménagement du territoire avait délivré, le 14 février 1986, une autorisation pour la création d'une place de lavage avec épuration à l'intérieur du hangar. Le 22 avril 2002, G._, devenu propriétaire dudit hangar par donation, avait requis une autorisation de construire hors de la zone à bâtir afin d'agrandir le hangar de 638 m 2 à 1'400 m 2. Le Service de l'aménagement du territoire avait préavisé défavorablement le projet, estimant que la construction envisagée n'était pas conforme à la zone agricole. B. Dès janvier 2006, A._ et B._ ainsi que H._, propriétaires de parcelles voisines, sont intervenus auprès de la Municipalité en se plaignant des nuisances sonores et du trafic provoqués par l'exploitation de la parcelle n° 338. Le 22 septembre 2006, ils ont saisi le Service du développement territorial par la voie d'une dénonciation. Ils ont fait valoir un changement d'affectation du hangar susmentionné, intervenu en violation des art. 24a à 24d de la loi fédérale sur l'aménagement du territoire du 22 juin 1979 (LAT; RS 700) et des art. 52 et 81 de loi cantonale sur l'aménagement du territoire et les constructions (LATC; RSV 700.11) ainsi qu'un dépassement des valeurs limites d'exposition au bruit au sens de la loi fédérale sur la protection de l'environnement du 7 octobre 1983 (LPE; RS 814.01) et de l'ordonnance sur la protection contre le bruit (OPB; RS 814.41). Le Service du développement territorial a procédé à une inspection locale le 19 juin 2007. Il a constaté à cette occasion qu'un atelier, un carnotzet, une douche et des toilettes avaient été aménagés au sous-sol du hangar, qu'une place de déblai avait été créée à l'extérieur du hangar, que plusieurs engins et machines agricoles y étaient entreposés et qu'un soliveau avait été réalisé à l'intérieur. Par décision du 14 novembre 2007, le Service du développement territorial a ordonné de supprimer l'atelier de réparation mécanique, la douche, les toilettes et le carnotzet situés dans le sous-sol du hangar, de faire disparaître la place réalisée en déblai au nord-ouest du hangar et de remettre les lieux dans l'état initial, d'évacuer toutes les machines, véhicules, remorques ou engins agricoles stationnant aux abords du hangar (seul un stationnement occasionnel de cinq machines au maximum à l'extérieur du hangar pouvait être toléré pendant la période des travaux des champs). Relevant l'absence de lien fonctionnel direct entre l'entreprise de travaux pour tiers qui constitue l'activité principale de G._ et le domaine agricole, le Service du développement territorial a considéré que le hangar litigieux n'était plus conforme à la zone agricole. Il a exposé qu'au contraire, en 1985, le domaine agricole était en copropriété de l'oncle et du père de l'intimé G._, l'un exploitant plutôt le bétail et ne disposant que d'un hangar trop exigu, l'autre collaborant aux travaux des champs tout en dirigeant une entreprise de battage: la surface du hangar autorisé ne couvrait ainsi pas uniquement les besoins de l'entreposage des machines de l'entreprise de battage du père de l'intimé G._, mais également ceux de l'entreprise agricole que celui-ci exploitait avec son frère. Toutefois, avant de statuer sur le caractère admissible ou non du changement d'affectation, le Service du développement territorial a imposé le dépôt d'une requête de permis de construire portant sur ce changement d'affectation, afin de le mettre à l'enquête publique. Par acte du 5 décembre 2007, G._ a déposé un recours contre cette décision auprès du Tribunal administratif du canton de Vaud (devenu la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud; ci-après: le Tribunal cantonal). Le 28 avril 2008, les juges cantonaux ont tenu une audience et procédé à une inspection locale en présence des parties. Ils ont notamment constaté la présence d'environ seize machines dans le hangar et celle d'un local abritant divers matériels dont un tour destiné à la fabrication de certaines pièces. Par arrêt du 19 janvier 2009, le Tribunal cantonal a admis le recours, annulé la décision du Service du développement territorial du 14 novembre 2007 et lui a renvoyé le dossier pour nouvelle décision quant à la régularisation des aménagements opérés dans le sous-sol du hangar. En outre, il a considéré en substance qu'il n'y avait pas de changement d'affectation du hangar par rapport à sa configuration autorisée initialement. Par arrêt du 15 décembre 2009 (1C_72/2009), le Tribunal fédéral a admis le recours formé notamment par A._ et B._. Il a réformé l'arrêt attaqué en ce sens que la décision du 14 novembre 2007 du Service de développement territorial imposant le dépôt d'une requête de permis de construire portant sur le changement d'affectation du hangar est confirmée. C. A la suite de cet arrêt, G._ a déposé, sous forme d'une demande de permis de construire, une demande de changement d'affectation de son hangar agricole et de nouvelle affectation en halle de dépôt de véhicules, avec mise en conformité des aménagements du sous-sol et du soliveau. Mis à l'enquête publique du 3 août au 2 septembre 2010, le projet a notamment suscité les oppositions de l'Association X._, A._ et B._, C._ et D._, de E._ et F._ (ci-après: l'Association et consorts). A la demande du Service du développement territorial, deux représentants de la commune ont procédé à une inspection locale, le 23 novembre 2010, en présence de G._. Il a en particulier été constaté que les alentours du hangar étaient libres de toute machine ou outil, à l'exception d'une ancienne charrue déposée au pied de l'arbre vers l'angle est du bâtiment; plus aucun dépôt n'était effectué dans le cordon boisé ouest; l'atelier de mécanique, la douche, les toilettes et le carnotzet, situés au sous-sol du hangar, avaient été supprimés; le sous-sol était utilisé uniquement à des fins de stockage (fromage, fruits et légumes, vin, etc.); l'entier des machines et équipements (douche, toilettes) avaient été évacués; la remise en état du talus déblayé au nord-ouest du bâtiment avait débuté et l'entreprise mandatée par G._ avait signé une lettre l'engageant à terminer les travaux selon la disponibilité des matériaux terreux nécessaires et à remettre en herbe toute la surface; enfin, la remise en herbe des alentours du hangar n'était pas encore optimale, en raison notamment des passages de camions pour la remise en état du talus. Le 18 janvier 2011, la Centrale des autorisations de construire du Département des infrastructures (CAMAC) a communiqué à la Municipalité sa synthèse comportant les autorisations spéciales des différents services cantonaux consultés. Il en ressort que le Service du développement territorial (Hors zone à bâtir) a considéré que l'utilisation du hangar litigieux comme dépôt secondaire, en lien avec l'activité de travaux agricoles pour tiers de G._ pouvait être assimilée à un changement d'affectation sans travaux au sens de l'art. 24a LAT et a délivré l'autorisation spéciale requise, aux conditions suivantes, dont il est prévu qu'elles fassent l'objet d'une mention au registre foncier: - les locaux en sous-sol, aménagés dès la construction du hangar, peuvent être maintenus, mais au seul usage de locaux de stockage. Aucun système de chauffage ne peut y être admis, même temporairement; - à l'extérieur du hangar, seul peut être admis le stationnement occasionnel, pendant la période de travaux des champs, de cinq machines au maximum, sur la place prévue à cet effet au droit de la façade sud-ouest; - le talus au nord-ouest devra être remis en état (reconstitué et enherbé) dans un délai au 30 avril 2011; dans ce même délai, les dégagements nord-ouest, nord-est et sud-est devront être remis en herbe; ils ne devront plus, à l'avenir, faire l'objet de dépôt quels qu'ils soient, ni de passage ou stationnement de machines, matériel et/ou véhicules; - aucun travail de mécanique ou de réparation ne peut être entrepris dans le hangar ou dans ses alentours; la place de lavage existante ne pourra servir qu'au lavage des machines et véhicules entreposés dans le hangar. Le Service des eaux, sols et assainissement a délivré les autorisations spéciales requises en posant des conditions impératives s'agissant des liquides pouvant polluer les eaux et des déchets spéciaux d'une part et pour ce qui concerne les eaux de lavage des machines agricole d'autre part. Quant au Service de l'environnement et de l'énergie, Division environnement, il a préavisé favorablement le projet à la condition que celui-ci respecte les exigences en matière de lutte contre le bruit. Par décision du 7 février 2011, la Municipalité a levé les oppositions et a délivré l'autorisation sollicitée, aux conditions posées par les autorisations cantonales telles qu'elles résultent de la synthèse CAMAC du 18 janvier 2011. Les opposants ont porté leur cause devant la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), qui a rejeté le recours par arrêt du 31 janvier 2013. D. Agissant par la voie du recours en matière de droit public, l'Association et consorts demandent au Tribunal fédéral d'annuler l'arrêt du 31 janvier 2013 et de renvoyer la cause devant l'instance cantonale pour qu'elle statue à nouveau dans le sens des considérants. Le Tribunal cantonal, le Service du développement territorial, la Municipalité et G._ concluent au rejet du recours. La Direction générale de l'environnement renvoie au préavis délivré dans le cadre de la circulation CAMAC. L'Office fédéral du développement territorial a renoncé à se déterminer. Les recourants ont déposé de nouvelles observations, par courrier du 17 juin 2013.