Faits:
A. B._ est propriétaire de la parcelle n° 3741 du registre foncier de la commune de Lutry. D'une surface de 1914 m2, ce bien-fonds supporte actuellement un cabanon de vignes de 16 m2. Il jouxte au sud la parcelle n° 5721, également propriété du prénommé. La majeure partie de la parcelle n° 3741, soit une surface de 1530 m2, est colloquée en "zone de faible densité" selon le règlement communal sur les constructions et l'aménagement du territoire du 12 juillet 2005 (RCAT). Le solde de ce bien-fonds, soit une bande de terrain d'environ 384 m2 de forme allongée et étroite, anciennement propriété des Chemins de fer fédéraux suisses (CFF) n'est pas affecté à une zone, tout comme le bien-fonds n° 5721. La parcelle n° 3741 bénéficie d'une servitude de passage à pied et pour tous véhicules grevant les parcelles n° 3743, 4540 et 4541; l'assiette de cette servitude permet d'accéder à la parcelle n° 3741 depuis le domaine public du chemin de Clair-Joly.
B. Le 6 mai 2002, B._ s'est vu délivrer une autorisation de construire un chemin d'accès longeant au sud la parcelle n° 3741 et le bien-fonds n° 4540, propriété de C._. Le permis a été octroyé moyennant notamment le respect des conditions impératives fixées par les CFF dans une lettre datée du 25 mars 2002.
Il ressort de l'étude géotechnique du 17 juin 2002 et de l'étude de stabilité du 16 juillet 2002, effectuées par le bureau d'ingénieurs géotechniciens Karakas & Français SA, que l'influence des travaux sur la stabilité générale du site sera faible et que le suivi du chantier par un ingénieur géotechnicien permettra de déceler tout changement dans la nature des sols et de la roche et d'apporter les modifications au projet si nécessaire. Les travaux de construction du chemin d'accès ont débuté en mars 2004 et ont été interrompus à la suite d'une intervention de C._.
Le 14 mai 2004, la Municipalité de Lutry a autorisé la construction d'un mur de soutènement relatif à la route permettant d'accéder à la propriété de B._.
Le 6 août 2004, B._ a requis l'autorisation de construire sur la parcelle n° 3741 une villa individuelle et une villa comportant deux logements ainsi que neuf places de stationnement. Mis à l'enquête publique, ce projet a suscité des oppositions. L'intéressé a retiré sa demande afin de procéder à un réexamen du projet. Dans le même temps, il a fait stopper les travaux de la route d'accès, dans l'attente de connaître l'implantation définitive des constructions envisagées. Le 19 février 2007, B._ a déposé une nouvelle demande de permis portant sur la démolition du cabanon de vigne et sur la construction d'une villa individuelle d'une surface au sol de 146 m2 érigée sur quatre niveaux (ci-après: villa A), une villa de trois niveaux comportant deux logements (ci-après: villa B) ainsi que deux places de stationnement extérieures et un parking couvert de cinq places. Soumis à l'enquête publique du 17 mars au 16 avril 2007, ce projet a suscité plusieurs oppositions dont celles de A._ et consorts).
Il résulte d'une synthèse du 14 mai 2007 de la Centrale des autorisations CAMAC du Département des infrastructures du canton de Vaud que le Service de l'environnement et de l'énergie, le Service de la sécurité civile et militaire, l'Etablissement cantonal d'assurance contre l'incendie et les éléments naturels (l'ECA), le Service des eaux, sols et assainissement, le Service de l'environnement et de l'énergie et le Service de la mobilité ont délivré les autorisations spéciales requises. L'ECA a notamment relevé que le bâtiment était répertorié en limite extérieure d'une zone de terrain instable et qu'il n'exigeait dès lors aucune mesure particulière. Un rapport daté du 7 septembre 2007, établi par le bureau Karakas & Français, conclut à la faisabilité du projet en terme de stabilité du terrain, moyennant un suivi géologique et un suivi des excavations par "inclinométrie". Par courrier du 30 janvier 2008, les CFF ont donné leur accord à la réalisation du projet moyennant le respect de certaines conditions. Par décision du 19 mai 2008, la Municipalité de Lutry a délivré l'autorisation de construire sollicitée, laquelle était subordonnée au respect de certaines conditions. Les oppositions ont été levées par décisions du 20 mai 2008.
C. Par acte du 10 juin 2008, A._ et consorts ont déposé un recours contre ces décisions auprès du Tribunal cantonal du canton de Vaud (ci-après; le Tribunal cantonal), en concluant à leur annulation, respectivement à l'annulation du permis de construire. Le 27 octobre 2008, ils ont étendu leurs conclusions en requérant l'annulation de la décision municipale du 14 mai 2004 portant sur l'édification du mur de soutènement, dans la mesure où ces travaux n'avaient pas encore été exécutés. Le 21 janvier 2009, les juges cantonaux ont procédé à une inspection locale en présence des parties. Par arrêt du 5 mars 2009, ils ont rejeté le recours, dans la mesure de sa recevabilité. Ils ont notamment considéré que l'accès aux maisons projetées respectait les exigences posées par l'art. 104 al. 3 de la loi cantonale sur l'aménagement du territoire et les constructions [LATC; RSV 700.11] et par l'art. 19 de la loi fédérale sur l'aménagement du territoire du 22 juin 1979 [LAT; RS 700] et que l'autorisation de construire contestée était conforme à l'affectation de la "zone de faible densité".
D. Agissant par la voie du recours en matière de droit public, A._ et consorts demandent au Tribunal fédéral d'annuler cet arrêt ainsi que les deux décisions de la Municipalité de Lutry datées des 19 mai 2004 et 19 mai 2008. Les recourants font notamment valoir une violation du droit d'être entendu et prétendent que la voie d'accès est inadaptée et non conforme à l'art. 19 LAT. Ils se plaignent aussi d'une application arbitraire de diverses dispositions de droit communal et cantonal. Ils requièrent en outre une inspection locale en relation avec le moyen développé sous le considérant 4 ci-dessous.
Le Tribunal cantonal conclut au rejet du recours en se référant aux considérants de son arrêt. Par courrier du 4 mai 2009, le Service du développement territorial du canton de Vaud a déposé des déterminations. Dans leurs observations, B._ et la Municipalité de Lutry concluent au rejet du recours.
Par ordonnance du 5 mai 2009, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif présentée par les recourants.
Considérant en droit:
1. Dirigé contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public de l'aménagement du territoire et des constructions (art. 82 let. a LTF), le recours est en principe recevable comme recours en matière de droit public selon les art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée. Les recourants ont pris part à la procédure de recours devant le Tribunal cantonal. Ils sont particulièrement touchés par l'arrêt attaqué, qui confirme l'autorisation de construire deux villas sur une parcelle voisine de la leur. Ils invoquent notamment des dispositions de droit des constructions susceptibles d'avoir une incidence sur leur situation de fait ou de droit (art. 8, 135 et 138 RCAT; art. 104 al. 3 LATC), de sorte qu'ils ont en principe la qualité pour agir au sens de l'art. 89 al. 1 LTF. Les autres conditions de recevabilité sont par ailleurs réunies, si bien qu'il y a lieu d'entrer en matière.
2. Le Tribunal fédéral s'estimant suffisamment renseigné par le dossier sur la voie d'accès aux constructions projetées, il n'y a pas lieu de procéder à l'inspection locale requise. Les recourants n'expliquent au demeurant pas en quoi une telle mesure d'instruction serait utile (art. 37 de la loi sur la procédure civile fédérale du 4 décembre 1947 [PCF; RS 273], applicable par renvoi de l'art. 55 al. 1 LTF).
3. Dans un grief qu'il convient d'examiner en premier lieu, les recourants se plaignent d'une violation de leur droit d'être entendus en raison d'un défaut de motivation de l'arrêt attaqué. Ils soutiennent que le Tribunal cantonal aurait ignoré leur argument relatif à l'inexistence d'une base légale ou réglementaire pour accorder une dérogation à la règle de la distance à la limite de propriété, s'agissant de la façade sud d'une des villas projetées par rapport à la parcelle n° 5721. Ils reprochent également au Tribunal cantonal de ne pas avoir vérifié la conformité du mur de soutènement aux exigences de l'art. 35 al. 4 du règlement communal. Les recourants reprennent cette dernière critique sous l'angle d'une prétendue violation de l'art. 41 de la loi cantonale sur la procédure administrative du 28 octobre 2008 (LPA/VD; RSV 173.36), à teneur duquel "l'autorité applique le droit d'office". Ces moyens se confondent et doivent dès lors être examinés ensemble.
3.1 La jurisprudence a déduit du droit d'être entendu (art. 29 al. 2 Cst.) l'obligation pour le juge de motiver ses décisions, afin que le justiciable puisse les comprendre et exercer ses droits de recours à bon escient. Le juge doit ainsi mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Il n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (ATF 134 I 83 consid. 4.1 p. 88 et les arrêts cités).
3.2 En l'espèce, la lecture de l'arrêt attaqué permet de comprendre sans difficulté les motifs qui ont fondé la décision du Tribunal cantonal. En effet, celui-ci n'a pas ignoré l'argument tiré d'une prétendue inexistence de base réglementaire adéquate permettant de déroger à l'exigence d'une distance à la limite de six mètres. Après avoir exposé le but poursuivi par la réglementation sur les distances aux limites de propriété, les juges cantonaux, à l'instar de la Municipalité de Lutry, ont considéré que dans la mesure où un secteur non zoné pouvait être constructible (cf. art. 135 LATC), il apparaissait cohérent d'appliquer à ces secteurs les dispositions générales relatives à toutes les zones à bâtir, notamment les dispositions sur la distance à la limite. Le Tribunal cantonal a encore précisé que, comme la parcelle n° 5721 qui appartient aussi au constructeur est de facto inconstructible compte tenu de sa superficie et de sa forme, le fait de permettre une construction à moins de six mètres de cette parcelle ne posait pas de difficulté s'agissant des objectifs poursuivis par les règles sur les distances à la limite.
Les juges cantonaux ont de surcroît considéré qu'il n'y avait pas lieu d'examiner la conformité du mur à l'art. 35 al. 4 RCAT, les recourants n'ayant formulé aucun grief spécifique en relation avec cette disposition et n'ayant pas indiqué en quoi celle-ci serait violée. Ceux-ci n'ont notamment pas fait valoir que le mur dépasserait la limite maximale autorisée par ladite disposition. La motivation du Tribunal cantonal n'a d'ailleurs pas échappé aux recourants, qui sont précisément en mesure d'attaquer la décision sur ces points. Par conséquent, le grief de la violation du droit d'être entendu doit être rejeté.
4. Les recourants estiment que l'accès aux constructions litigieuses n'est pas suffisant au regard des art. 104 al. 3 LATC et 19 LAT, le chemin n'étant pas assez large et ne permettant ni croisement, ni rebroussement sur une distance de 110 mètres. Ils se plaignent d'une application arbitraire de l'art. 104 al. 3 LATC et d'une violation de l'art. 19 LAT.
4.1 Aux termes de l'art. 22 al. 2 let. b LAT, une autorisation de construire ne peut être délivrée que si le terrain est équipé (cf. art. 104 al. 3 LATC). Tel est le cas selon l'art. 19 al. 1 LAT, lorsqu'il est desservi d'une manière adaptée à l'utilisation prévue par des voies d'accès et par des conduites auxquelles il est possible de se raccorder sans frais disproportionnés pour l'alimentation en eau et en énergie, ainsi que pour l'évacuation des eaux usées. Une voie d'accès est adaptée à l'utilisation prévue lorsqu'elle est suffisante d'un point de vue technique et juridique pour accueillir tout le trafic de la zone qu'elle dessert (ATF 121 I 65 consid. 3a p. 68 et les arrêts cités). Il faut aussi que la sécurité des usagers soit garantie sur toute sa longueur, que le revêtement soit adéquat en fonction du type de véhicules qui vont l'emprunter, que la visibilité et les possibilités de croisement soient suffisantes et que l'accès des services de secours (ambulance, service du feu) et de voirie soit assuré (arrêt 1C_221/2007 du 3 mars 2008 consid. 7.2; arrêt 1P.115/1992 du 6 mai 1993 consid. 4, in ZBl 1994 p. 89 et les références citées).
Les autorités communales et cantonales disposent en ce domaine d'un important pouvoir d'appréciation, que le Tribunal fédéral doit respecter (ATF 121 I 65 consid. 3a in fine p. 68; 96 I 369 consid. 4 p. 373). Elles peuvent également se fonder sur les normes édictées en la matière par l'Union des professionnels suisses de la route, étant précisé que ces normes doivent être appliquées en fonction des circonstances concrètes et en accord avec les principes généraux du droit, dont celui de la proportionnalité (arrêt 1P_157/2008 du 10 juillet 2008 consid. 2.1; arrêt P.124/1977 du 15 novembre 1978 consid. 3b in ZBl 1979 p. 223; sur l'ensemble de ces questions, voir aussi DFJP/OFAT, Etude relative à la loi fédérale sur l'aménagement du territoire, 1981, §§ 12-14 ad art. 19, p. 236 s.; André Jomini, Commentaire de la loi fédérale sur l'aménagement du territoire, 1999, n° 18 ss ad art. 19; Zen-Ruffinen/Guy-Ecabert, Aménagement du territoire, construction expropriation, 2001, n. 700 ss, p. 324-328; Waldmann/ Hänni, Raumplanungsgesetz, 2006, n. 21 ad art. 19).
4.2 En l'espèce, l'accès aux immeubles litigieux se ferait par une route privée d'une largeur de trois mètres, dont l'usage est juridiquement garanti en faveur de la parcelle n° 3741 par une servitude de passage à pied et pour tous véhicules, grevant les parcelles n° 3743, 4540 et 4541. Les juges cantonaux qui ont procédé à une inspection locale, ont considéré que si deux véhicules devaient se trouver face à face sur ce chemin, l'un d'eux devra exécuter une marche arrière jusqu'à un point permettant l'arrêt ou le croisement: même si cette manoeuvre pouvait s'avérer "malcommode", elle était possible et l'accès apparaissait suffisant.
Les recourants estiment qu'une telle manoeuvre est délicate, la voie d'accès étant partiellement déclive et dominant en aval une pente donnant sur la voie ferrée. Ils craignent que leurs biens-fonds soient utilisés sans droit comme aire d'évitement. Ils prétendent en outre que la route d'accès litigieuse ne respecterait pas les normes SN 640 045 et 640 200 édictées par l'Union suisse des professionnels de la route, vu que le tronçon de chemin litigieux excède 80 mètres et ne comprend ni accotements, ni espaces libres permettant un croisement. Ils perdent de vue cependant que lesdites normes prévoient qu'un "chemin d'accès" est apte à desservir de petites zones habitées jusqu'à trente unités de logements, à raison de 50 véhicules par heure. Or en l'espèce, le tronçon litigieux de cette route dessert un nombre limité de logements, à savoir une villa individuelle et une maison avec deux appartements ainsi que des places de stationnement permettant l'accès à sept véhicules au maximum. L'accès paraît donc suffisant pour supporter des véhicules de tourisme dont le nombre est limité, vu la nécessité de desservir uniquement trois unité de logements supplémentaires.
En outre, l'aptitude d'une voie d'accès à assurer la desserte d'une parcelle n'exige pas que soient garanties des possibilités de croisement sur toute sa longueur; il suffit que ces possibilités soient suffisantes pour assurer la sécurité des usagers. S'il est vrai qu'en l'occurrence la visibilité n'est pas excellente, elle permet toutefois à un conducteur attentif et respectueux des règles usuelles de circulation de constater la présence d'un autre véhicule survenant en sens inverse suffisamment tôt pour s'arrêter à l'entrée du tronçon ou pour reculer jusqu'à la place de manoeuvre située à l'extrémité du chemin. L'accès litigieux respecte en cela l'art. 43 al. 4 RCAT qui dispose que les voies sans issue de plus de 50 mètres de longueur doivent être pourvues à leur extrémité d'une place de manoeuvre ou de retournement "si les aménagements de la route dans sa longueur ne permettent pas la manoeuvre des véhicules au droit des bâtiments". Ce grief tombe donc à faux, ce d'autant plus que la relative étroitesse de la voie de circulation assure indirectement le ralentissement du trafic et, par voie de conséquence, la sécurité des usagers. S'ajoute encore à cela le fait que la Centrale des autorisations CAMAC du canton de Vaud a délivré toutes les autorisations spéciales requises, notamment celles relatives à la sécurité, le 14 mai 2007. Dans ces conditions, le Tribunal cantonal pouvait admettre de manière soutenable que le chemin litigieux était suffisant pour desservir la parcelle de l'intimé, nonobstant les difficultés de croisement.
5. Les recourants estiment aussi que la distance à la limite de propriété n'est pas respectée, s'agissant de la façade sud de la villa B par rapport à la parcelle n° 5721. Ils font valoir une application arbitraire de l'art. 6 al. 2 LATC et des art. 8 et 138 RCAT.
Selon la jurisprudence, les propriétaires voisins ne peuvent se prévaloir d'un intérêt digne de protection à invoquer des dispositions édictées dans l'intérêt général ou dans l'intérêt de tiers que si elles peuvent avoir une influence sur leur situation de fait ou de droit. Cette exigence n'est pas remplie lorsque les recourants dénoncent une application arbitraire des dispositions du droit des constructions qui n'ont aucune influence sur leur situation de voisin, comme celles relatives à l'aération ou à l'éclairage des locaux d'habitation dans un bâtiment voisin (ATF 133 II 249 consid. 1.3.2 p. 253; arrêt 1C_64/2007 du 2 juillet 2007 consid. 2 et les références). En l'espèce, les recourants ne démontrent pas en quoi ils seraient particulièrement atteints par la dérogation à la distance réglementaire à la limite par rapport à la parcelle située au sud du projet litigieux, alors qu'ils sont propriétaires de bien-fonds sis au nord, à l'est et à l'ouest, ce d'autant moins que le constructeur est également propriétaire de la parcelle envers laquelle la distance à la limite a été restreinte. L'admission du recours sur ce point ne leur conférerait aucun avantage pratique dans la mesure où elle n'entraînerait pas de modification du volume des villas ou de leur implantation du côté des parcelles dont ils sont propriétaires. Faute de justifier d'un intérêt suffisant au sens de l'art. 89 LTF, les recourants ne peuvent donc se prévaloir de ce grief, qui doit être déclaré irrecevable.
6. Les recourants soutiennent que le Tribunal cantonal a versé dans l'arbitraire en considérant que l'autorisation cantonale relative au chemin d'accès traversant partiellement la parcelle n° 3741 - fût-elle nécessaire au sens de l'art. 135 al. 4 LATC - a été donnée en cours d'audience par le représentant du SDT.
6.1 Il y a arbitraire, prohibé par l'art. 9 Cst., lorsque la décision attaquée viole gravement une règle ou un principe juridique clair et indiscuté ou lorsqu'elle contredit d'une manière choquante le sentiment de la justice ou de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle est insoutenable ou en contradiction évidente avec la situation de fait, si elle a été adoptée sans motif objectif ou en violation d'un droit certain. Par ailleurs, il ne suffit pas que les motifs de la décision attaquée soient insoutenables, encore faut-il que celle-ci soit arbitraire dans son résultat (ATF 134 I 263 consid. 3.1 p. 266; 131 I 57 consid. 2 p. 61 et la jurisprudence citée), ce que les recourants doivent démontrer en vertu de l'art. 106 al. 2 LTF (ATF 133 II 396 consid. 3.2 p. 400).
6.2 A teneur de l'art. 135 al. 4 LATC, lorsqu'une fraction du territoire d'une commune n'est pas encore régie par un plan d'affectation ou un règlement communal ad hoc, tout permis de construire est subordonné à une autorisation préalable du Service du développement territorial. Pour les recourants, l'autorisation n'a pas été délivrée dans les formes prescrites, ce qui les aurait empêchés de faire valoir leurs moyens contre cette autorisation. Cependant, lors de l'audience devant le Tribunal cantonal, le représentant du SDT a déclaré que si une autorisation cantonale s'avérait nécessaire, le SDT n'aurait aucune objection à délivrer celle-ci, ce d'autant plus que la route est en grande partie achevée. Dans son courrier du 4 mai 2009 adressé au Tribunal de céans, le SDT a confirmé ne pas avoir eu l'occasion de statuer formellement sur l'autorisation préalable requise. Il a précisé que dans la mesure où le mur de soutènement et le chemin d'accès se situent dans un périmètre de cinquante mètres mesuré à partir des bâtiments existants situés dans la zone à bâtir aux abords des parcelles n° 3741 et 5721, il aurait nécessairement dû délivrer l'autorisation spéciale requise et qu'elle le serait également si la demande lui était adressée a posteriori.
Dans ces circonstances, le Tribunal cantonal pouvait sans arbitraire considérer que si vice il y avait eu, celui-ci avait été réparé. Ce d'autant plus que les recourants ne contestent pas que le permis de construire le chemin d'accès litigieux, octroyé le 6 mai 2002, est désormais exécutoire et que la partie du chemin d'accès limitrophe de la parcelle n° 4540 - propriété de C._ - a déjà été réalisée, le tronçon encore à construire se situant entièrement sur le bien-fonds du constructeur. De surcroît, dans la procédure cantonale et dans le présent recours, les recourants ont omis d'exposer les motifs pour lesquels une autorisation au sens de l'art. 135 al. 4 LATC n'aurait pas pu être délivrée. Dans ces conditions, le renvoi du dossier au SDT pour l'octroi d'une telle autorisation respectant les exigences formelles n'aurait pas été en accord avec le principe de l'économie de procédure. Le grief doit donc être rejeté.
7. Enfin, les recourants font valoir que le mur de soutènement longeant en amont la parcelle n° 5721 s'implanterait à une distance inférieure à cinq mètres par rapport à la limite de propriété voisine, en violation de l'art. 135 al. 2 let. b LATC. A les suivre, ledit mur ne pourrait pas non plus être admis, à titre dérogatoire, en application de l'art. 39 al. 3 du règlement d'application de la LATC du 19 septembre 1986 (RATC; RSV 700.11.1) relatif aux dépendances de peu d'importance.
Le Tribunal cantonal a rejeté cette argumentation, en relevant d'abord qu'il était douteux que l'art. 135 al. 2 let. b LATC soit applicable aux voies d'accès. Cette disposition qui prévoit que "les constructions sur les territoires sans plan d'affectation doivent se faire selon l'ordre non contigu, là où l'ordre contigu n'existe pas", semble en effet viser plutôt les bâtiments. Le Tribunal cantonal a ensuite rappelé à juste titre que, de jurisprudence constante, si une voie d'accès n'est pas soumise au régime des dépendances, elle échappe néanmoins aux règles sur les distances à ménager entre bâtiments et limite de propriété, en tant qu'elle constitue un équipement de construction. Les recourants ne contestent pas cette jurisprudence, mais ils prétendent qu'elle ne saurait prévaloir lorsque ce n'est pas la voie d'accès comme telle qui est incriminée, mais le mur de soutènement. Les recourants ne démontrent cependant pas en quoi le mur de soutènement qui est nécessaire à la création de la voie d'accès devrait être dissocié de celle-ci. Dans ces conditions, la question de savoir si une réduction de la distance réglementaire à la limite pourrait également être autorisée sur la base de l'art. 39 RLATC peut demeurer indécise.
En définitive, en considérant que l'implantation du mur de soutènement à moins de cinq mètres de la parcelle voisine était réglementaire, le Tribunal cantonal n'a pas fait preuve d'arbitraire au sens de la jurisprudence susmentionnée.
8. Il s'ensuit que le recours doit être rejeté, dans la mesure de sa recevabilité. Les recourants, qui succombent, doivent supporter les frais judiciaires (art. 65 et 66 LTF). Ils verseront en outre une indemnité de dépens à l'intimé, qui a eu recours à un avocat (art. 68 al. 2 LTF). La Municipalité de Lutry n'a en revanche pas droit à des dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 3'000 francs, sont mis à la charge des recourants.
3. Une indemnité de 2'000 francs est allouée à B._ à titre de dépens, à la charge des recourants, solidairement entre eux.
4. Le présent arrêt est communiqué aux mandataires des recourants, de l'intimé, de la Municipalité de Lutry et du Service du développement territorial du canton de Vaud ainsi qu'à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 29 juillet 2009
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: La Greffière:
Aemisegger Tornay Schaller