Faits :
A.
Le 5 décembre 2016, D._ a déposé une demande de permis de construire portant sur l'agrandissement d'une villa avec piscine et la rénovation d'une annexe sur la parcelle n° 223 de la commune de Dully. Ce projet a notamment suscité l'opposition de la société C._ SA, propriétaire de la parcelle voisine, et de A.A._ et B.A._, qui occupent la villa érigée sur cette parcelle.
La Municipalité de Dully a délivré le permis de construire sollicité et levé l'opposition au terme d'une décision rendue le 8 juin 2017 que C._ SA et les époux A._ ont déférée le 10 juillet 2017 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Le 24 août 2017, la Municipalité de Dully s'est déterminée sur le recours par l'intermédiaire de son mandataire. Le 25 septembre 2017, elle a donné son accord à la suspension de la procédure jusqu'au 20 décembre 2017.
Le 14 décembre 2017, les recourants ont informé le juge instructeur en charge du dossier avoir trouvé une solution amiable au litige et ont retiré leur recours en l'invitant à rayer la cause du rôle sans frais.
Le 15 décembre 2017, le juge instructeur a rendu une décision dont le dispositif est le suivant:
"I. La cause est rayée du rôle
II. Il n'est pas perçu d'émolument.
III. C._ SA et A.A._ et B.A._, solidairement entre eux, verseront à la Commune de Dully la somme de 2'000 francs à titre de dépens."
Le 20 décembre 2017, les recourants ont contesté la quotité des dépens alloués à la Municipalité de Dully et ont vainement invité le juge instructeur à reconsidérer sa décision sur ce point en octroyant des dépens en faveur de l'autorité intimée à hauteur de 500 fr.
B.
Agissant par la voie du recours en matière de droit public, C._ SA et les époux A._ demandent au Tribunal fédéral d'annuler le point III du dispositif de la décision cantonale du 15 décembre 2017 et de renvoyer, le cas échéant, la cause à la Cour de droit administratif et public pour nouvelle décision au sens des considérants.
Le Tribunal cantonal a renoncé à se déterminer et se réfère aux considérants de la décision attaquée. La Commune de Dully conclut au rejet du recours.
Les recourants ont répliqué.
La Commune de Dully a persisté dans ses conclusions.

Considérant en droit :
1.
Dirigé contre une décision de radiation de la cause du rôle prise dans le cadre d'une procédure d'autorisation de construire, le recours est recevable comme recours en matière de droit public. Les recourants ont pris part à la procédure devant le Tribunal cantonal et sont particulièrement touchés par la décision attaquée qui les astreint à verser à la Municipalité de Dully des dépens dont ils contestent la quotité. Le recours a au surplus été formé en temps utile contre une décision finale rendue en dernière instance cantonale.
2.
Les recourants s'en prennent à la somme de 2'000 fr. allouée à titre de dépens à la Commune de Dully qu'ils considèrent comme excessive au regard des circonstances.
2.1. La jurisprudence reconnaît à l'autorité cantonale de recours un large pouvoir d'appréciation dans la fixation et la répartition des frais et dépens de la procédure cantonale, s'agissant d'une matière qui relève de la législation cantonale de procédure applicable à la cause (<ref-ruling> consid. 4a p. 49). Le Tribunal fédéral n'intervient que si cette autorité a interprété ou appliqué de manière arbitraire le droit cantonal concerné ou si elle a abusé de son pouvoir d'appréciation, notamment si la décision ne peut se justifier par des raisons objectives (<ref-ruling> consid. 2 p. 509). L'interdiction de l'arbitraire implique que la rémunération de l'avocat demeure dans un rapport raisonnable avec la prestation fournie et ne contredise pas d'une manière grossière le sentiment de la justice (<ref-ruling> consid. 5 p. 122).
L'art. 55 al. 1 de la loi vaudoise sur la procédure administrative (LPA-VD; RSV 173.36) pose le principe selon lequel en procédure de recours, l'autorité alloue une indemnité à la partie qui obtient totalement ou partiellement gain de cause, en remboursement des frais qu'elle a engagés pour défendre ses intérêts (al. 1) et que cette indemnité est mise à la charge de la partie qui succombe (al. 2). A teneur de l'art. 11 du Tarif des frais judiciaires et des dépens en matière administrative du 28 avril 2015 (TFJDA; RSV 173.36.5.1), les frais d'avocat comprennent une participation aux honoraires et les débours indispensables (al. 1). Les honoraires sont fixés d'après l'importance de la cause, ses difficultés et l'ampleur du travail effectué. Ils sont compris entre 500 et 10'000 francs. Ils peuvent dépasser ce montant maximal, si des motifs particuliers le justifient, notamment une procédure d'une ampleur ou d'une complexité spéciales (al. 2).
2.2. Il est vrai que le mémoire de réponse de la Municipalité de Dully tient sur quatre pages et ne comporte ni état de fait ni argumentation concernant la question de la notification irrégulière soulevée par les recourants. Il répond toutefois aux moyens que ceux-ci avaient invoqués en lien, d'une part, avec l'absence alléguée au dossier de mise à l'enquête d'un programme d'assainissement et d'informations concrètes concernant le désamiantage en violation de l'art. 103a de la loi cantonale sur l'aménagement du territoire et des constructions et, d'autre part, avec l'autorisation d'abattre un pin prétendument accordée en contravention au règlement communal sur la protection des arbres. L'avocat de la Commune a dû se replonger dans le dossier d'enquête pour répondre au premier grief dans la mesure où il constate la présence au dossier d'un programme d'assainissement. Il a également procédé à des recherches dans la jurisprudence cantonale dès lors qu'il se réfère à un arrêt de la Cour de droit administratif et public pour étayer son argumentation quant au second moyen. Enfin, à la demande du juge instructeur, il a pris position par courrier du 25 septembre 2017 sur la demande de suspension de la procédure en l'informant du consentement de sa mandante. Cela étant, au vu des opérations ainsi répertoriées et décrites, le montant de 2'000 fr. n'est certes pas hors de toute proportion au regard du travail effectué par le conseil de la Commune de Dully. La fixation des dépens à un montant inférieur de quelques centaines de francs aurait cependant été plus conforme à la pratique cantonale telle qu'elle découle des arrêts cantonaux récents cités par les recourants. On sait cependant qu'il n'y a pas arbitraire du seul fait qu'une autre solution que celle adoptée par l'autorité intimée soit concevable, voire préférable (<ref-ruling> consid. 4.3 p. 380). Vu l'ensemble des circonstances et le montant finalement fixé, la différence n'est pas telle que la décision attaquée puisse être qualifiée d'arbitraire au sens de l'art. 9 Cst.
3.
Le recours doit par conséquent être rejeté aux frais des recourants qui succombent, lesquels tiendront compte de l'enjeu limité du litige et du pouvoir d'examen restreint à l'arbitraire du Tribunal fédéral. Il n'y a pas lieu d'allouer des dépens à la Commune de Dully (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge des recourants.
3.
Il n'y a pas lieu d'allouer des dépens.
4.
Le présent arrêt est communiqué aux mandataires des parties, à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud ainsi que, pour information, à D._.
Lausanne, le 26 juin 2018
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Merli
Le Greffier : Parmelin