Faits :
A.
La parcelle n° 975 de la commune de Lutry est située au coeur du hameau de Savuit, sur le côté est de la rue du Village. Propriété de la Commune de Lutry et d'une surface de 777 m2, elle supporte un ancien rural, dans la toiture duquel est installée une balance romaine (poids public) du 17ème siècle. Ce bâtiment, dit "de La Balance", a été construit en 1825.
La Municipalité de Lutry a soumis un projet de rénovation et de réhabilitation du bâtiment de La Balance, comprenant une nouvelle construction dans le prolongement nord du bâtiment existant, à la Commission consultative de la zone ville et villages de la commune de Lutry, à la Commission consultative de Lavaux (CCL), au Service cantonal Immeubles, patrimoine et logistique (SIPAL), Division Monuments et sites (MS). Un projet modifié pour tenir compte du préavis négatif du SIPAL-MS (fondé sur l'atteinte que portait la cage d'escalier prévue au mur de refends abritant le mécanisme de la balance) a été mis à l'enquête publique le 25 janvier 2018. Il prévoit d'une part, dans le nouveau bâtiment, l'aménagement de quatre logements et de locaux disponibles pour la commune, et d'autre part, dans le bâtiment de La Balance, deux logements ainsi que la cage d'escaliers desservant tous les locaux et appartements.
A teneur de la synthèse finale du 14 mars 2018 établie par la Centrale cantonale des autorisations en matière de constructions, les différentes instances concernées ont délivré les autorisations à certaines conditions impératives; le SIPAL-MS a en particulier indiqué que le nouveau projet assurait la préservation et la mise en valeur de la balance romaine.
B.
Par décision du 1er novembre 2018, la municipalité a levé les oppositions suscitées par le projet et délivré le permis de construire.
Statuant sur recours de certains opposants, la Cour de droit administratif et public du Tribunal cantonal vaudois (CDAP) a confirmé cette décision par arrêt du 17 décembre 2019, après avoir tenu une audience publique et procédé à une visite des lieux.
C.
Agissant par la voie du recours en matière de droit public, les opposants A._, B._, C._, D._, E._, F._, G._, H._, I._ et J._ demandent au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que la décision de la Municipalité de Lutry levant leurs oppositions et autorisant le projet est annulée. Subsidiairement, ils concluent à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants.
La cour cantonale renonce à se déterminer sur le recours et se réfère aux considérants de son arrêt. La Municipalité de Lutry se détermine et conclut au rejet du recours. Les recourants déposent de nouvelles observations dans une seconde écriture à teneur de laquelle ils persistent dans leurs conclusions.
Par ordonnance du 21 février 2020, le Président de la Ire Cour de droit public a accordé l'effet suspensif au recours.

Considérant en droit :
1.
Le recours est formé contre un arrêt final rendu en dernière instance cantonale, dans une cause de droit public. Il est recevable au regard des art. 82 let. a, 86 al. 1 let. d et 90 LTF. Les recourants, propriétaires de parcelles sises en vis-à-vis ou proches du projet litigieux, sont particulièrement touchés par l'arrêt attaqué qui confirme l'octroi de l'autorisation de construire; ils ont un intérêt digne de protection à l'annulation ou la modification de l'arrêt cantonal.
Les autres conditions de recevabilité sont réunies, si bien qu'il y a lieu d'entrer en matière sur le recours.
2.
Les recourants font valoir que la CDAP n'a pas statué sur certains de leurs griefs, en violation de leur droit d'être entendu.
2.1. La contestation d'une décision devant le Tribunal fédéral suppose que celle-ci comporte une motivation prenant en compte tous les éléments déterminants (<ref-law>). Ce devoir de motivation est également déduit du droit d'être entendu garanti par l'art. 29 al. 2 Cst. La jurisprudence impose ainsi au juge de motiver sa décision, afin que le justiciable puisse la comprendre, la contester utilement s'il y a lieu et exercer son droit de recours à bon escient. Pour répondre à ces exigences, l'autorité doit mentionner, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 3.1 p. 109; <ref-ruling> consid. 5.2 p. 70; <ref-ruling> consid. 3.6 p. 337). La motivation peut être implicite et résulter des différents considérants de la décision (<ref-ruling> consid. 3.2.1 p. 565; arrêts 2C_23/2009 du 25 mai 2009 consid. 3.1, publié in RDAF 2009 II p. 434; 1C_382/2020 du 16 novembre 2020 consid. 2.1). En revanche, une autorité se rend coupable d'un déni de justice formel prohibé par l'art. 29 al. 2 Cst. lorsqu'elle omet de se prononcer sur des griefs qui présentent une certaine pertinence ou de prendre en considération des allégués et arguments importants pour la décision à rendre. L'autorité ne doit toutefois pas se prononcer sur tous les moyens des parties; elle peut se limiter aux questions décisives (ATF <ref-ruling> consid. 5.2 p. 70; <ref-ruling> consid. 4.2 p. 157; <ref-ruling> consid. 1.3.1 p. 253).
Le droit d'être entendu est une garantie de nature formelle, dont la violation entraîne en principe l'annulation de la décision attaquée, indépendamment des chances de succès du recours sur le fond (<ref-ruling> consid. 2.8.1 p. 226; <ref-ruling> consid. 2.2 p. 190; <ref-ruling> consid. 2d/bb p. 24). Sa violation peut cependant être réparée lorsque la partie lésée a la possibilité de s'exprimer devant une autorité de recours jouissant d'un plein pouvoir d'examen en fait et en droit (<ref-ruling> consid. 2.3.2 p. 197; <ref-ruling> consid. 2.6.1 p. 285; <ref-ruling> consid. 2.2 p. 204). Une telle réparation doit rester l'exception et n'est admissible, en principe, que dans l'hypothèse d'une atteinte qui n'est pas particulièrement grave aux droits procéduraux de la partie lésée. Cela étant, une réparation de la violation du droit d'être entendu peut également se justifier, même en présence d'un vice grave, lorsque le renvoi constituerait une vaine formalité et aboutirait à un allongement inutile de la procédure, ce qui serait incompatible avec l'intérêt de la partie concernée à ce que sa cause soit tranchée dans un délai raisonnable (<ref-ruling> consid. 2.8.1 p. 226; <ref-ruling> consid. 2.3.2 p. 197 s.; <ref-ruling> consid. 2.2 p. 204).
2.2. La CCL, qui a rendu un préavis positif sur le premier projet qui lui a été présenté, n'a pas été consultée une fois le projet modifié pour tenir compte de la position su SIPAL-MS, de sorte que le projet mis à l'enquête publique ne lui a en réalité pas été soumis. Selon les recourants, la cour cantonale aurait dû se prononcer sur les conséquences juridiques de l'absence de préavis de la CCL sur le projet effectivement mis à l'enquête publique - et adopté -, ce qu'elle n'a pas fait.
Il ressort de l'arrêt attaqué que la cour cantonale a reconnu que c'était à tort que le projet mis à l'enquête publique n'avait pas été soumis préalablement à la CCL. La cour cantonale a alors invité une première fois la CCL à se déterminer sur le recours cantonal, ce à quoi la commission a répondu qu'elle n'avait pas de remarques à formuler. Sur requête de la municipalité en ce sens, la cour cantonale a interpelé une nouvelle fois la CCL, l'invitant expressément à se déterminer sur le projet mis à l'enquête publique et objet du recours, dont les différences avec le projet précédent avaient été mises en évidence dans le dossier communal. La CCL a alors requis que les différences entre les deux projets soient indiquées de manière plus visible, à l'aide de documents sur support informatique. Nantie de documents conformes à ses exigences, sans se déterminer sur le projet lui-même, elle a ensuite répondu qu'elle aurait pu faire part de ses remarques si le dossier lui avait été soumis avant enquête. Les premiers juges ont finalement pu connaître la position de la CCL lors de l'audience publique qu'ils ont tenue le 12 septembre 2019 et à laquelle la commission a été convoquée. Ils ont donc jugé que le grief tiré du fait que le projet n'avait pas été examiné par cette commission était ainsi devenu sans objet.
En d'autres termes, conformément à la jurisprudence citée ci-dessus, cela signifie que la violation du droit d'être entendus des recourants a été jugée réparée en instance de recours cantonale. Au contraire de ce que ceux-ci affirment de façon appellatoire, tenir le défaut de préavis pour réparé sur la base de la prise de position exposée en audience par le représentant de la CCL, qui a été dûment sollicitée à plusieurs reprises et formellement convoquée à dite audience est, dans les circonstances décrites ci-dessus, conforme à la jurisprudence relative au respect du droit d'être entendu. Les recourants tiennent eux-mêmes l'avis de la CCL pour connu, exposant que le préavis de la commission, s'il avait été sollicité, aurait été négatif; ils rappellent en effet qu'en audience, le représentant de la CCL, à la question du président de savoir quelles auraient été les conclusions de la commission si elle s'était prononcée, a répondu que "la CCL aurait indiqué qu'il fallait revenir au projet précédent à cause de l'avant-toit recouvrant les balcons, désormais horizontal alors qu'il prolongeait la pente du toit dans le projet précédent, et [à cause] des ouvertures modifiées".
Les recourants déplorent ensuite l'absence de prise de position de la cour cantonale sur la teneur de ce préavis.
A cet égard, si la question du préavis de la CCL a été examinée au considérant 8 de l'arrêt attaqué s'agissant de sa composante formelle, sur le plan matériel, la position de la CCL elle-même, en particulier s'agissant de l'avant-toit et des ouvertures, a été intégrée à l'examen de fond portant sur l'esthétique et l'intégration du projet au considérant 4 de l'arrêt attaqué. L'avis négatif de la CCL est indiqué au considérant 4c et, au contraire de ce que font valoir les recourants, l'appréciation des premiers juges sur cette question est expressément développée au considérant 4e de l'arrêt attaqué: la cour cantonale a tenu compte de l'avis de la CCL, exposant notamment que l'avant-toit qui couvre les balcons n'a pas d'effet sensible sur la volumétrie du projet litigieux et qu'en dépit de ce que l'avant-toit horizontal laisse les ouvertures de l'étage supérieur entièrement dégagées, pour l'observateur ordinaire qui se trouve au niveau de la rue en revanche, la nouvelle version de l'avant-toit ne modifie pas l'apparence de la façade.
En définitive, ni le fait de considérer le défaut de préavis de la CCL comme réparé, ni la façon dont les premiers juges ont pris en compte ce préavis n'est critiquable en l'espèce, de sorte que le droit d'être entendus des recourants a été respecté.
3.
Les recourants dénoncent une planification insuffisante, en violation des art. 2 et 14 LAT (RS 700). Ils affirment qu'une éventuelle construction sur la parcelle n° 975 devait être soumise à une planification préalable, dès lors que le règlement communal sur les constructions et l'aménagement du territoire (RCAT) ne contiendrait pas, au vu de l'affectation actuelle de la parcelle, les règles de détail minimum quant aux prescriptions usuelles en matière de constructions (tels que volumétrie, coefficients d'occupation, hauteurs, nombres d'étages admis, etc).
3.1. L'art. 2 al. 1 LAT prévoit que, pour celles de leurs tâches dont l'accomplissement a des effets sur l'organisation du territoire, la Confédération, les cantons et les communes établissent des plans d'aménagement en veillant à les faire concorder. Cela comprend l'obligation d'adopter des plans d'affectation (DFJP/OFAT, Etude relative à la loi fédérale sur l'aménagement du territoire, 1981, n° 3 ad art. 2 LAT. Les plans d'affectation règlent le mode d'utilisation du sol (art. 14 al. 1 LAT); ils délimitent en premier lieu les zones à bâtir, les zones agricoles et les zones à protéger (art. 14 al. 2 LAT).
Les plans d'affectation déterminent le mode, le lieu et la mesure de l'utilisation admissible du sol (DFJP/OFAT, op. cit., n° 1 ad art. 14 LAT; cf. également JEANNERAT/MOOR, in Commentaire pratique LAT: Planifier l'affectation, 2016, n° 6 ad art. 14 LAT). Ils déterminent le champ d'application spatial des règlements des prescriptions en matière de planification et de police des constructions qui, en tant que "légende du plan", en font conceptuellement partie. En ce sens, les zones d'affectation fournissent en principe des informations sur l'utilisation admissible et - dans le cas des zones constructibles - les distances, la taille des bâtiments ou le genre de développement souhaité (WALDMANN/HÄNNI, Raumplanungsgesetz, 2006, n° 20 ad art. 14 LAT). Cela étant, conformément à l'art. 14 LAT, le législateur fédéral a choisi d'imposer au minimum la fixation, dans les plans d'affectation, des modes d'utilisation du sol - en particulier le caractère constructible ou non de celui-ci -, mais non le lieu et la mesure de l'utilisation admissible du sol, ni l'ordre des constructions, la police et l'esthétique des constructions ne tombant à cet égard plus dans la définition des plans d'affectation (DFJP/OFAT, op. cit., n° 2 ad art. 14 LAT). Les autorités chargées d'élaborer les plans d'affectation - en particulier les communes - jouissent en principe d'une marge d'appréciation dès lors qu'il s'agit de définir le degré de précision des plans. Elles doivent toutefois tenir compte des caractéristiques propres de l'objet à planifier lorsqu'elles déterminent le contenu normatif ou la densité normative d'un plan d'affectation. Il n'est ainsi pas possible d'adopter des plans d'affectation vides de toute substance et créant une trop grande insécurité juridique au regard de l'objet à planifier (JEANNERAT/MOOR, op. cit., n° 14 ad art. 14 LAT).
3.2. Les surfaces non construites de la parcelle litigieuse sont désignées dans le plan général d'affectation des zones comme "espaces extérieurs à conserver II". L'espace adjacent au bâtiment de La Balance est en outre marqué d'un astérisque avec la légende "bâtiments nouveaux (chapitre "espaces extérieurs" du règlement) ". L'art. 115 RCAT, intitulé "Espaces extérieurs à conserver II", prévoit ce qui suit:
"Sous réserve des agrandissements réglementaires et des dispositions des art. 88, 108, 109 et 111, les espaces extérieurs à conserver II sont inconstructibles.
Tout nouvel aménagement doit respecter l'ensemble urbanistique et architectural, tant en ce qui concerne ses parties construites que non construites.
Les surfaces munies d'un astérisque (*) sur les plans partiels d'affectation décrits à l'art. 60 constituent des espaces interstitiels du domaine bâti dont la nature, les dimensions et la situation peuvent, sous certaines conditions, se prêter à la construction de bâtiments nouveaux.
De cas en cas, la construction de bâtiments nouveaux peut être autorisée dans ces espaces (sur une ou plusieurs parcelles), pour autant que leur insertion dans le contexte bâti soit correcte.
La Municipalité peut subordonner ces constructions à l'établissement préalable d'un plan de quartier ou d'un plan partiel d'affectation."
Vu la teneur des alinéas 3 et 4 de l'art. 115 RCAT, c'est de façon appellatoire que les recourants affirment que la partie non bâtie de la parcelle litigieuse est inconstructible. Cette disposition ne pose effectivement aucune règle "classique" de police des constructions. Il ressort en revanche de son texte que le planificateur communal a manifestement souhaité, indépendamment de règles chiffrées, mettre l'accent sur l'intégration au site ("respect de l'ensemble urbanistique et architectural", "insertion [correcte] dans le contexte bâti"). De telles règles, si elles sont effectivement peu précises et laissent une grande marge de manoeuvre à l'autorité, n'en sont pas pour autant dépourvues de contenu permettant de cadrer le développement souhaité. A cet égard, elles remplissent les conditions posées par le droit fédéral s'agissant du contenu minimum des plans d'affectation. En outre, le peu de contraintes posées par le RCAT est en l'espèce compensé par les divers préavis d'autorités communales et cantonales spécialisées par lesquels l'intégration au site est précisément assurée.
Comme le retient par ailleurs la cour cantonale, une procédure de planification préalable pour une seule parcelle ne serait en tout état pas vraiment pourvue de sens, la planification étant en principe destinée à coordonner les activités à incidence spatiale à une échelle qui va au-delà de la seule réalisation de six logements et quelques locaux communaux. Les recourants, sauf à se plaindre de l'insuffisance des règles de police des constructions régissant la parcelle litigieuse, ne font valoir aucun élément qui justifierait la mise en oeuvre d'une procédure de planification.
On peut se demander si, sous couvert de violation du droit fédéral - dont les dispositions alléguées prévoient l'obligation faite aux autorités de planifier l'affectation du sol -, les recourants déplorent simplement une violation des dispositions de droit communal, plus précisément de l'art. 115 RCAT.
En l'espèce, il n'apparaît pas que le projet présenterait des dimensions, une volumétrie ou une typologie qui iraient à l'encontre des règles de l'urbanisme régissant son environnement immédiat. Et les recourants n'allèguent au demeurant pas que tel serait le cas.
Enfin, l'art. 47 de la loi cantonale du 4 décembre 1985 sur l'aménagement du territoire et les constructions (LATC; RSV 700.11) dont les recourants dénoncent la violation sans en exposer - au contraire des exigences de l'<ref-law> - la teneur, traite de l'application anticipée de plans en voie d'élaboration de sorte qu'il est manifestement sans rapport avec le présent grief.
4.
Les recourants se plaignent d'une violation de l'art. 6 de la loi fédérale du 1er juillet 1966 sur la protection de la nature et du paysage (LPN; RS 451), en tant que le projet litigieux porterait atteinte à l'objectif de sauvegarde du hameau de Savuit classé à l'ISOS.
4.1. Conformément à l'<ref-law> qui donne mandat au Conseil fédéral en ce sens, l'ordonnance du 13 novembre 2019 concernant l'Inventaire fédéral des sites construits à protéger en Suisse (OISOS; RS 451.12) - qui a remplacé l'OISOS de 1981 - recense les sites construits d'importance nationale. Savuit y est référencé sous objet VD 4469 en tant que hameau. Les inventaires fédéraux sont assimilés matériellement à des conceptions et à des plans sectoriels au sens de l'art. 13 al. 1 LAT. Selon l'<ref-law>, l'inscription d'un objet d'importance nationale dans un inventaire fédéral indique que l'objet mérite spécialement d'être conservé intact ou en tout cas d'être ménagé le plus possible, y compris au moyen de mesures de reconstitution ou de remplacement adéquates. A teneur de l'<ref-law>, lorsqu'il s'agit de l'accomplissement d'une tâche de la Confédération, la règle suivant laquelle un objet doit être conservé intact dans les conditions fixées par l'inventaire ne souffre d'exception que si des intérêts équivalents ou supérieurs, d'importance nationale également, s'opposent à cette conservation.
L'inventaire ISOS doit toutefois être pris en considération dans la pesée des intérêts de chaque cas d'espèce - y compris lors de l'accomplissement de tâches purement cantonales et communales -, en tant que manifestation d'un intérêt fédéral (THIERRY LARGEY, La protection du patrimoine, in RDAF 2012 p. 295). Dans le cadre de leur obligation générale de planifier de l'art. 2 LAT, les cantons doivent tenir compte, dans leur planification directrice, de ces inventaires en tant que forme spéciale des conceptions et plans sectoriels de la Confédération (art. 6 al. 4 LAT). En raison de la force obligatoire des plans directeurs pour les autorités (art. 9 LAT), les conditions de protection figurant dans les inventaires fédéraux se retrouvent dans les plans d'affectation (art. 14 ss LAT). En principe, l'inventaire des sites construits à protéger en Suisse (ISOS) doit ainsi être transcrit dans les plans directeurs cantonaux, puis dans la planification locale au moyen des instruments prévus à l'art. 17 LAT. Ces mesures lient ainsi non seulement les autorités dans l'exécution de leurs tâches, mais également les particuliers (<ref-ruling> consid. 2.1 p. 213; arrêts 1C_250/2019 du 8 mai 2020 consid. 4.2; 1C_276/2015 du 29 avril 2016 consid. 3.1).
Une atteinte demeure possible lorsqu'elle n'altère pas l'identité de l'objet protégé ni le but assigné à sa protection; celui-ci découle du contenu de la protection mentionné dans l'inventaire et les fiches qui l'accompagnent (arrêts 1C_87/2019 du 11 juin 2020 consid. 3.1; 1C_276/2015 du 29 avril 2016 consid. 3.1; LARGEY, op. cit., p. 292; LEIMBACHER, Commentaire LPN ad <ref-law> n° 5 ss).
4.2. La parcelle litigieuse est sise au coeur du hameau de Savuit, classé en zone "ville et villages" par le plan général d'affectation de la commune. La partie non construite du terrain est affectée à la zone des "espaces extérieurs à conserver II". La surface où doit s'implanter le nouveau bâtiment est quant à elle marquée d'un astérisque de sorte qu'elle peut "sous certaines conditions, se prêter à la construction de bâtiments nouveaux". Que des restrictions de bâtir pour des motifs de protection du patrimoine limitent partiellement ou complètement les possibilités de construire sur une partie du terrain ne saurait suffire à considérer que l'on se trouve hors de la zone à bâtir au sens des art. 14 ss LAT. Il s'ensuit que la délivrance de l'autorisation de construire en l'espèce ne constitue pas l'exécution d'une tâche fédérale. Comme l'a retenu la cour cantonale, l'<ref-law> n'est pas directement applicable. Il n'en demeure pas moins que, conformément à la jurisprudence rappelée ci-dessus, les autorités doivent tenir compte du classement du hameau à l'ISOS.
En l'occurrence, le hameau de Savuit est classé à l'ISOS pour sa caractéristique de localité viticole établie selon une structure linéraire montante, composée de séries de maisons contiguës aux faîtes disposés parallèlement à la rue, selon un parcellaire en arêtes de poisson, avec une ébauche de structure linéaire horizontale au sud dès la fin du Moyen-Age. La fiche d'inventaire relève également l'échappée sur le versant viticole préservé de Lavaux, celui-ci formant, vu de l'est, un avant-plan de haute qualité sur lequel se détache la silhouette de Savuit. A ces égards, la cour cantonale a constaté que l'implantation du bâtiment se conformait au parcellaire en arêtes de poisson, à l'ordre contigu, à l'orientation des faîtes et aux hauteurs des bâtiments existants. Elle a relevé que le bâtiment projeté s'intégrera particulièrement bien à l'environnement du fait du léger décrochement par rapport au bâtiment existant, ainsi que par la dimension des ouvertures en façade et l'aspect non régulier (façade brisée) de la façade ouest, donnant sur la rue. Quant à l'échappée en direction de l'est depuis la rue du Village, les premiers juges ont constaté que celle-ci était en partie masquée par le terrain et la végétation qui se trouvent sur parcelle (un grand sapin et des arbres fruitiers basse-tige sur un terre-plein), si bien que ce qu'il reste de l'échappée actuelle malgré cet obstacle visuel sera préservé.
Sur ces aspects, l'argumentation des recourants est purement appellatoire. Ils se contentent en effet d'exposer que les objectifs de sauvegarde mentionnés dans cet inventaire doivent être pris en compte de manière rigoureuse lors la décision d'octroi d'un permis de construire et que tel n'aurait pas été le cas. Ils ajoutent que "rien n'imposait à la commune d'ériger un bâtiment de 12 m de hauteur qui viendra obstruer une vue sur le coteau viticole dont la préservation figure parmi les objectifs de l'ISOS". Cela étant, ils ne discutent pas les constatations de la cour cantonale relatives à ce dégagement qui sera selon elle préservé dans son état actuel. Quant au fait que le classement du site à l'ISOS soit postérieur au plan général d'affectation, outre qu'il n'est pas décisif vu le plan d'affectation spécial adopté en 1994 qui régit le secteur, il ne suffit pas à remettre en cause, par un contrôle incident, les prescriptions régissant les possibilités de construire adoptées par le planificateur communal (cf. par exemple arrêts 1C_87/2019 du 11 juin 2020 consid. 3; 1C_308/2017 du 4 juillet 2018 consid. 3).
5.
Dans un grief relatif à l'application du droit communal, les recourants dénoncent, outre une application arbitraire de l'art. 90 RCAT, une violation du droit d'être entendu, la cour cantonale n'ayant selon eux pas pris position sur le caractère d'extension ou de construction nouvelle du projet.
5.1. L'art. 90 RCAT prévoit que les bâtiments sont maintenus dans leur volumétrie, architecture et aspect général, à l'exception des éléments ou adjonctions disparates (al. 1); ils peuvent être transformés intérieurement et extérieurement, et agrandis dans les limites des règles qui suivent (al. 2). Selon l'art. 100 RCAT, les agrandissements tels que petits corps de bâtiments constituant des volumes fermés, jardins d'hiver, balcons, couverts, tambours d'entrée, escaliers, constructions souterraines ou semi souterraines dont une face au plus est dégagée ou constructions à but professionnel, sont autorisés à condition qu'ils découlent d'un besoin objectivement fondé. Ces agrandissements doivent s'intégrer parfaitement au bâtiment et aux bâtiments voisins, ainsi qu'aux abords non construits, et ne pas perturber l'image du front extérieur de la ville et des villages.
Le Tribunal fédéral revoit librement l'interprétation et l'application du droit fédéral et du droit constitutionnel cantonal (<ref-law>). Il examine en revanche sous l'angle restreint de l'arbitraire l'interprétation et l'application des autres règles du droit cantonal ou communal (<ref-ruling> consid. 5.4 p. 43; <ref-ruling> consid. 2.2 p. 69; <ref-ruling> consid. 3 p. 351).
Une décision est arbitraire lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou lorsqu'elle contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral n'a pas à déterminer quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement examiner si l'interprétation qui a été faite est défendable. Par conséquent, si celle-ci ne se révèle pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation cantonale en cause, elle sera confirmée, même si une autre solution paraît également concevable, voire préférable. (<ref-ruling> consid. 4.3 p. 319). Dans ce contexte, la partie recourante est soumise aux exigences de motivation accrues de l'<ref-law>. La partie recourante doit alors citer les dispositions du droit cantonal ou communal dont elle se prévaut et démontrer en quoi ces dispositions auraient été appliquées arbitrairement ou d'une autre manière contraire au droit (<ref-ruling> consid. 2.8 p. 494).
5.2. A l'instar de ce qu'affirment les recourants, il est probable que, si l'extension projetée devait être considérée comme un agrandissement et non comme une nouvelle construction, il serait difficile de rattacher ses dimensions et son affectation à la liste d'exemples des agrandissements admissibles, ce quand bien même cette liste n'est pas exhaustive. Par ailleurs, comme le relèvent les recourants, la cour cantonale, qui a pourtant exposé au considérant 6 de son arrêt que les recourants faisaient valoir que le nouveau bâtiment était un agrandissement et non une construction nouvelle en ordre contigu, n'a pas expressément exposé les motifs permettant de trancher cette question. Toutefois, vu la manière dont le considérant de l'arrêt attaqué est structuré, exposant la liste du type d'annexes que le règlement communal tient pour des agrandissement acceptables, on comprend que les premiers juges ont considéré qu' a contrario de cette liste, l'extension projetée, comprenant quatre logements dans leur entier et des locaux communaux, était loin de présenter les caractéristiques d'une annexe et qu'elle constituait par conséquent un nouveau bâtiment. Le grief de violation du droit d'être entendu peut ainsi être rejeté. Une telle appréciation ne choque en outre pas. En dépit des critères pertinents que les recourants exposent pour qualifier une construction d'agrandissement (absence de porte d'entrée séparée, absence d'escaliers propres permettant d'accéder aux étages), l'appréciation des premiers juges, fondée vraisemblablement sur la fonctionnalité de l'extension et non sur ses attributs, est également soutenable. Les recourants ne citent pas ni même n'exposent la jurisprudence cantonale dont ils disent se prévaloir pour étayer leur position. Ne faisant ainsi qu'opposer leur point de vue à la solution - pourtant soutenable - retenue dans l'arrêt attaqué, ils échouent ainsi à démontrer en quoi celle-ci serait arbitraire.
6.
Il résulte de ce qui précède que le recours doit être rejeté et l'arrêt attaqué confirmé. Les recourants, qui succombent, s'acquitteront des frais de justice (<ref-law>). La commune, quand bien même elle obtient gain de cause avec l'aide d'un avocat, n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais de justice, arrêtés à 4'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué aux recourants, au mandataire de la Municipalité de Lutry, à la Commission consultative de Lavaux, à la Direction générale des immeubles et du patrimoine du canton de Vaud et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 5 février 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
La Greffière : Sidi-Ali