Faits: A. B._ exploite le domaine viticole de Chantegrive, à Gilly. Le 29 octobre 2008, il a requis l'autorisation de construire un hangar sur la parcelle n° 289 du cadastre communal, dont il est propriétaire en zone agricole, en vue d'y aménager des locaux d'exploitation vinicole. Le bâtiment s'implanterait en amont d'un hangar existant déjà affecté à cet usage, avec lequel il communiquerait. Soumis à l'enquête publique du 8 novembre au 8 décembre 2008, ce projet a soulevé plusieurs oppositions, dont celle des époux A._, propriétaires de la parcelle n° 230, bâtie d'une villa, au nord de la parcelle du constructeur, dont elle est séparée par la route cantonale 40d. Ces derniers soutenaient notamment que l'art. 40 du règlement communal sur le plan général d'affectation et la police des constructions (RPGA), qui fixe une distance de 10 mètres à observer entre un bâtiment et la limite du domaine public en l'absence de plan d'alignement, n'était pas respecté dès lors que la façade est du bâtiment s'implantait à moins de 10 mètres de la route de la Gare. Le 9 février 2009, la Centrale des autorisations du Département des infrastructures du canton de Vaud a communiqué les préavis et autres décisions des services cantonaux concernés à la Municipalité de Gilly. Le Service cantonal du développement territorial a notamment délivré l'autorisation spéciale hors zone à bâtir requise par le projet. Il a considéré en substance que les travaux envisagés répondaient aux besoins objectivement fondés du domaine exploité par le constructeur, que l'adjonction du volume en prolongation du bâtiment existant était conforme aux exigences de l'aménagement du territoire, qui privilégie le regroupement des constructions, et que la volumétrie, les pentes du toit et le bardage en bois permettaient une intégration satisfaisante du bâtiment dans le paysage. Le 16 avril 2009, la Municipalité de Gilly a informé les opposants de sa décision, prise en séance du 23 mars 2009, de lever leurs oppositions et de délivrer le permis de construire requis par B._. Elle a considéré notamment que l'art. 40 RPGA ne s'appliquait pas et devait s'effacer devant la réglementation cantonale sur les routes qui prévoit une distance de 10 mètres, respectée par le projet, par rapport à l'axe de la route de la Gare. Statuant par arrêt du 19 mai 2010, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal ou la cour cantonale) a rejeté le recours formé par les époux A._ contre cette décision. Elle a notamment retenu que l'art. 40 RPGA était applicable en l'espèce et n'avait pas été observé; elle a jugé que le constructeur pouvait bénéficier d'une dérogation fondée sur l'art. 87 RPGA et a confirmé l'autorisation de construire litigieuse. B. Agissant par la voie du recours en matière de droit public, A._ demandent au Tribunal fédéral d'annuler cet arrêt ainsi que la décision de la Municipalité de Gilly du 16 avril 2009. Ils se plaignent d'une violation du droit fédéral et d'une application arbitraire du droit cantonal. Le Tribunal cantonal, le Service cantonal du développement territorial, la Municipalité de Gilly et l'intimé concluent au rejet du recours. C. Par ordonnance présidentielle du 12 juillet 2010, l'effet suspensif a été accordé au recours.