Faits:
A. Le territoire de la commune de Gilly est régi par le règlement communal sur le plan général d'affectation et la police des constructions (ci-après: le règlement communal) approuvé par le Conseil d'Etat le 18 décembre 1992. Le vieux village de Gilly est colloqué en zone village. En dessus de la route qui borde le village au nord s'étend le vignoble, quadrillé par des chemins viticoles et classé en zone viticole; toutefois, l'un des quadrilatères délimité par ces chemins, attenant au village, est colloqué en zone village également.
La bande médiane de ce quadrilatère est en pente descendant vers le sud. Morcelée, elle est occupée par les constructions suivantes. Au sommet de cette bande se trouve, sur la parcelle 687, la villa de A._ et D._, construite dans les années 1970, qui surplombe les parcelles contiguës situées au sud en bordure du village. En contre-bas de cette parcelle, du côté est, ont été construites au milieu des années 1990 deux villas légèrement décalées et distantes entre elles de 11 m à l'origine. Elles ont ensuite été reliées entre elles par un élément de construction bas. L'ensemble est aujourd'hui constitué au registre foncier de deux parcelles distinctes dont la limite traverse la construction basse. A l'ouest de ces villas se trouve la parcelle 741 appartenant à B._ et C._, d'une surface de 798 m2, sur laquelle est érigé un bâtiment portant le n° ECA 415. Construite dans les années 1970, cette maison comporte une partie inférieure qui était à l'origine un hangar pour les cars postaux, d'où les hautes portes articulées, vitrées dans leur partie supérieure, qui s'ouvrent au sud sur une place bétonnée attenante à la route. Ce rez-de-chaussée est surmonté de l'habitation proprement dite. Au nord du bâtiment, les époux B._ et C._ ont emménagé une terrasse.
B. Du 10 janvier au 8 février 2009, les époux B._ et C._ ont mis à l'enquête publique un projet de transformation et d'agrandissement du bâtiment ECA n° 415. Le projet consiste à ajouter un nouvel élément au nord et au sud de la villa existante. Au sud, la nouvelle construction masque une partie de la façade actuelle. Au rez inférieur, les deux nouveaux garages communiquent avec l'ancien hangar par les ouvertures existantes tandis que la troisième des hautes portes subsiste pour donner au hangar un accès sur l'extérieur. Au rez supérieur est aménagé un appartement de deux pièces, accessible par un escalier extérieur. Au nord, le nouvel élément comporte une cave et communique avec la construction actuelle au niveau du rez supérieur. Il abrite à ce niveau la cuisine-salle à manger du logement principal. A l'étage se trouvent deux chambres avec WC douche. Un escalier situé dans la partie centrale communique avec les combles, éclairées par deux velux et désignés comme "salle de jeu" sur les plans.
C. Ce projet a suscité l'opposition de A._, selon lequel la construction envisagée ne respectait pas l'ordre non contigu imposé par la réglementation communale, pas plus que les règles au sujet de la hauteur des bâtiments.
Par décision du 3 mars 2009, la municipalité de Gilly (ci-après: la municipalité) a levé l'opposition précitée et délivré le permis de construire sollicité. Elle a notamment considéré, pour l'extension de l'appartement au nord, que la question de la contiguïté était réglée car le projet prévoyait une liaison fonctionnelle entre les constructions; quant au second appartement à entrée indépendante, sa conception et son utilisation future étaient intrinsèquement liées à la maison-mère.
Après avoir procédé à une inspection locale, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a rejeté le recours de A._ et confirmé la décision précitée, par arrêt du 30 septembre 2009.
D. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal du 30 septembre 2009 ainsi que la décision de la municipalité du 3 mars 2009. Il se plaint d'une interprétation et d'une application arbitraires des art. 7 à 9 du règlement communal, s'agissant de la notion de non-contiguïté, ainsi que d'une application arbitraire des art. 10 et 58 du règlement relatifs à la hauteur des bâtiments et son mode de calcul.
Le Tribunal cantonal et la municipalité concluent au rejet du recours. Les intimés concluent au rejet du recours dans la mesure où il est recevable.
Considérant en droit:
1. 1.1 Dirigé contre une décision confirmant en dernière instance cantonale l'octroi d'une autorisation de construire fondée sur les normes communales de police des constructions, sans qu'aucune des exceptions prévues à l'art. 83 LTF ne soit réalisée, le recours est en principe recevable comme recours en matière de droit public au sens des art. 82 ss LTF.
1.2 L'arrêt attaqué autorise la transformation et l'agrandissement de la villa des époux B._ et C._, sise sur la parcelle la parcelle 741 de la commune de Gilly. Le recourant, propriétaire de la parcelle 687, qui surplombe celle des intimés, a pris part à la procédure devant l'autorité précédente et fait valoir que le projet litigieux entraînerait certaines restrictions à ses droits de propriété, notamment en lui obstruant une bonne partie de la vue sur le village, la vigne et le lac; il est ainsi particulièrement touché par la décision entreprise et dispose de la qualité pour recourir en vertu de l'art. 89 LTF (cf. ATF 133 II 249 consid. 1.3.3 p. 253 s.).
1.3 Le recourant demande l'annulation de l'arrêt attaqué et de la décision de la municipalité du 3 mars 2009. Le recours en matière de droit public n'est toutefois pas un recours en cassation mais un recours en réforme (art. 107 al. 2 LTF; cf. ATF 133 III 489 consid. 3.1 p. 491). Il ressort néanmoins clairement de son mémoire que le recourant entend en réalité également demander le refus du permis de construire accordé aux intimés. Comprise dans ce sens, sa conclusion cassatoire ne s'oppose pas à l'entrée en matière sur le recours.
1.4 Au surplus, le mémoire ayant été déposé en temps utile (art. 100 al. 1 et 45 al. 1 LTF) et dans les formes prescrites par la loi (art. 42 LTF), il y a lieu d'entrer en matière.
2. Le recourant se plaint d'une application arbitraire du droit communal des constructions.
Le Tribunal fédéral revoit l'interprétation et l'application du droit communal sous l'angle de l'arbitraire (cf. ATF 133 III 462 consid. 2.3 p. 466). Il ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain, ce qu'il appartient au recourant de démontrer par une argumentation qui réponde aux exigences de l'art. 106 al. 2 LTF (cf. ATF 133 II 249 consid de 1.4.2 p. 254 et les références). En revanche, si l'interprétation défendue par la cour cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, elle sera confirmée, même si une autre solution paraît également concevable, voire préférable (ATF 132 I 13 consid. 5.1 p. 17).
3. Selon le recourant, le Tribunal cantonal aurait interprété et appliqué de façon arbitraire les art. 7 à 9 du règlement communal, en considérant que les bâtiments accolés sont autorisés non seulement lorsqu'ils sont séparés par une limite de propriété mais également s'ils se trouvent sur une même parcelle. De même, la cour cantonale ne pouvait retenir que la notion de contiguïté de fait n'était pas applicable ni que les conditions nécessaires (faisceau de critères) n'étaient de toute façon pas remplies en l'espèce.
Les art. 7 à 9 du règlement communal, applicables à la zone village, ont la teneur suivante:
Art. 7
Partout où les bâtiments ne sont pas construits en ordre contigu, l'ordre non contigu est obligatoire.
Art. 8
L'ordre contigu est caractérisé par l'implantation des bâtiments en limite de propriété. La profondeur des murs mitoyens ou aveugles ne doit pas dépasser 15 mètres au maximum. La distance entre les façades non mitoyennes et la limite de propriété voisine ou du domaine public, s'il n'y a pas de plan fixant la limite des constructions, est de 4 mètres au minimum.
Cette distance est doublée entre bâtiments sis sur une même propriété.
En cas d'incendie, les bâtiments construits en limite de propriété pourront être reconstruits en ordre contigu.
Art. 9
L'ordre non contigu est caractérisé par les distances à observer entre bâtiments et limite de propriété et par l'implantation des bâtiments à la limite des constructions s'il existe un plan qui la fixe, ou en retrait parallèlement à celle-ci. La distance entre les façades non implantées sur un alignement et la limite de la propriété voisine ou du domaine public, s'il n'y a pas de plan fixant la limite des constructions, est de 4 mètres au minimum. Elle est doublée entre bâtiments sis sur la même propriété.
3.1 Le Tribunal cantonal a considéré que, dans le cas de Gilly, le droit communal utilisait une notion particulière de contiguïté qui était restreinte à l'hypothèse où une limite de propriété séparait les deux immeubles considérés (art. 8 du règlement communal). La contiguïté ainsi définie était par principe limitée aux immeubles implantés sur la limite de parcelle, hypothèse qui n'était pas réalisée quand il n'y avait pas de limite entre les immeubles considérés, soit lorsqu'ils étaient construits sur la même parcelle. Il n'y avait donc pas de contiguïté en l'espèce puisque le projet ne serait d'aucun côté implanté sur la limite de propriété. Selon le recourant, ce raisonnement n'est pas correct, l'art. 9 du règlement communal ne faisant mention d'aucune exception à l'ordre non contigu en zone village pour les villas, maisons ou bâtiments mitoyens; plusieurs bâtiments implantés sur une même parcelle doivent donc respecter entre eux la distance doublée prévue à cette disposition. Or, la Cour cantonale arrive à une solution opposée, au profit d'une interprétation extensive et contra legem de la notion de contiguïté.
Dans le règlement communal, la notion de contiguïté est définie de la façon suivante: alors que l'ordre contigu est caractérisé par l'implantation des bâtiments en limite de propriété (art. 8), l'ordre non contigu se distingue par les distances à observer entre bâtiments et limite de propriété (art. 9). L'interprétation faite en l'espèce par la Cour cantonale n'est pas contraire au texte de la loi.
Le recourant ne conteste pas que le bâtiment litigieux ne présente aucune contiguïté avec un bâtiment en limite de propriété, et qu'il en irait de même en cas de réalisation des travaux contestés. La Cour cantonale n'est donc pas tombée dans l'arbitraire en retenant que, dans le cas particulier, il n'y avait pas de contiguïté au sens de l'art. 8 du règlement communal. De même, en l'absence de règle limitant la longueur des bâtiments ou le nombre de logements par bâtiment, ou encore d'une règle sur la configuration (verticale ou horizontale) des logements, les juges cantonaux ne pouvaient effectivement faire grief à la municipalité d'interpréter le règlement communal, comme elle l'expliquait, en ce sens qu'il permettait la construction, sur une même parcelle, d'un bâtiment composé de plusieurs modules ayant par exemple des faîtes à des hauteurs différentes pour tenir compte en particulier de la configuration du terrain. C'est également à tort que le recourant soutient que la Cour cantonale a empiété sur l'autonomie de la commune et que ses digressions ne reposaient pas sur une pratique de la municipalité. En effet, la pratique de l'autorité communale s'est manifestée sur les bâtiments situés à l'est du projet, où deux villas construites isolément ont été réunies par un élément de construction bas, ce qui les rend contiguës (au sens large du terme); peu importe d'ailleurs que la parcelle ait été fractionnée depuis lors par une limite qui traverse la construction basse en question. La Cour cantonale pouvait ainsi, sans arbitraire, confirmer l'interprétation du règlement communal de la zone village par la municipalité en ce sens que les bâtiments accolés sont autorisés non seulement lorsqu'ils sont séparés par une limite de propriété, mais également lorsqu'ils se trouvent sur une même parcelle. Il n'est pas déterminant à cet égard que le résultat de cette interprétation permette, comme le soutient le recourant, de construire en zone village, sur une parcelle de grande taille, un quartier entier d'immeubles contigus en ne respectant que la distance à la limite de propriété; un tel projet devrait de toute façon faire l'objet d'une appréciation et d'une pesée des intérêts concrètes.
3.2 Le recourant invoque ensuite la jurisprudence cantonale relative à la contiguïté de fait. Il se plaint que la Cour cantonale n'a pas procédé à une pondération complète des éléments en présence ni surtout tenu compte du fait que le projet donnait l'impression de plusieurs bâtiments. A son avis, le projet ne forme pas un tout homogène respectant la règle de la non-contiguïté, mais les bâtiments présentent plutôt une contiguïté de fait proscrite par le règlement communal.
Le Tribunal cantonal a relevé que l'exception à l'ordre non contigu, en zone village comme en l'espèce, ne concernait pas les villas jumelles mais bien les constructions accolées caractéristiques de la structure du village; il était donc douteux que la "contiguïté de fait" doive être prohibée dans ce contexte. Quoi qu'il en soit, il estimait que la municipalité n'avait pas abusé de son pouvoir d'appréciation en constatant que le projet consistait dans l'extension de l'appartement existant au nord de la parcelle.
En l'espèce, la partie nord du projet consiste dans l'adjonction d'un élément qui communique avec la construction existante et abritera la cuisine-salle à manger du logement transformé tandis que l'élément sud comporte un second logement qui demeure lié à l'ensemble puisqu'il s'insère, dans le sens vertical, entre les garages-hangar communs du bâtiment et la terrasse du logement principal. La Cour cantonale a estimé que le projet ne pouvait être refusé pour le seul motif qu'il donnait l'impression de plusieurs bâtiments; l'absence de limite de longueur des bâtiments ou du nombre de logements ne permettait pas d'empêcher l'agrandissement des bâtiments existants et si le constructeur prolongeait son immeuble de manière uniforme (pour éviter qu'il soit considéré comme des bâtiments accolés), cela créerait un effet de barre incompatible avec la structure du village constitué de bâtiments contigus mais variés. Le raisonnement des juges cantonaux n'est pas insoutenable, ni le résultat auquel il parvient, même si une autre solution aurait pu paraître concevable, voire préférable aux yeux du recourant. Malgré le manque d'homogénéité extérieur des modifications envisagées par les intimés, la pesée des intérêts selon laquelle le projet litigieux constitue un agrandissement du bâtiment existant échappe à l'arbitraire.
4. Le recourant se plaint par ailleurs de ce que le projet ne respecte pas la hauteur prescrite à l'art. 10 du règlement communal, telle qu'il faut la calculer conformément à l'art. 58. Il reproche à la Cour cantonale d'avoir procédé au calcul de la hauteur du bâtiment en isolant chacun des éléments de la construction, compte tenu de leurs toitures propres. Cette façon de procéder serait contradictoire avec l'affirmation selon laquelle le projet ne serait pas constitué de plusieurs bâtiments accolés.
En vertu de l'art. 10 dudit règlement, en zone village, la hauteur des façades ne doit pas dépasser 7 mètres à la corniche et la hauteur maximum des bâtiments 10 mètres 50 au faîte. L'art. 58 du règlement précise que la hauteur à la corniche ou au faîte est mesurée à partir de la cote moyenne du sol naturel occupé par la construction.
Le Tribunal cantonal s'est fondé sur sa jurisprudence, selon laquelle lorsque chaque partie du bâtiment possède une toiture propre, il apparaît justifié de calculer la hauteur au faîte pour chacune d'elles en prenant la moyenne du terrain naturel selon leurs angles respectifs. Comme le projet litigieux comprend trois toitures distinctes, qui coiffent une construction s'inscrivant en étage dans la pente du terrain, il a considéré que le calcul de la hauteur au faîte devait se faire séparément pour chaque bâtiment. A défaut de règles communales explicites sur le calcul de la hauteur d'un bâtiment à plusieurs faîtes et en présence d'une construction composée de plusieurs modules ayant chacun leur toiture propre, le raisonnement de la Cour cantonale ainsi que le résultat auquel il aboutit ne sont pas choquants. L'arrêt attaqué a certes relevé que le projet constituait un agrandissement d'un bâtiment existant et formait ainsi une seule construction, il n'empêche que celle-ci a la particularité d'être composée de trois éléments distincts situés à des niveaux différents tenant compte de la déclivité du terrain. C'est donc sans arbitraire que les juges cantonaux ont appliqué leur jurisprudence, même si, comme le relève le recourant, une jurisprudence plus ancienne préconisait un calcul différent, l'ensemble des éléments devant alors être pris en considération pour mesurer la hauteur des différentes façades. Au demeurant, le recourant ne conteste pas les mesures effectuées par le géomètre officiel et il apparaît que, la hauteur du faîte étant de 9.09 m et la corniche s'élevant à 6.44 m, le projet respecte l'art. 10 du règlement communal.
5. Les considérants qui précèdent conduisent au rejet du recours. Conformément aux art. 66 al. 1 et 68 al. 2 LTF, les frais judiciaires sont mis à la charge du recourant, de même qu'une indemnité de dépens en faveur des intimés.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, fixés à 3'000 fr., sont mis à la charge du recourant.
3. Le recourant versera aux intimés une indemnité de 1'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 2 mars 2010
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Féraud Mabillard