Faits:
A. En mai 1999, l'immeuble n° 3469 de la commune de X._ a été partagé en trois nouvelles parcelles nos 4101, 4102 et 4103.
A l'occasion de cette mutation parcellaire, le propriétaire de la parcelle n° 3469 qui souhaitait légaliser le passage des canalisations déjà en place, a demandé au géomètre officiel de constituer une servitude "canalisations chauffage de chaufferie" en faveur de la parcelle n° 4103 et à charge de la parcelle n° 4102.
Le 1er septembre 1999, une servitude de canalisations multiples grevant la parcelle n° 4102 a été portée au registre des servitudes; elle a toutefois été inscrite en faveur de la parcelle n° 4101 et non de la parcelle n° 4103.
B. Le 4 avril 2000, les époux F._ ont acquis, chacun pour moitié, la parcelle n° 4102 de la commune de X._.
L'acte d'achat-vente indique que ce fonds est grevé des servitudes de passage à pied et d'usage de chaufferie au profit des parcelles nos 4101 et 4103 et d'une servitude de canalisations multiples au profit uniquement de la parcelle n° 4101.
C. Le 18 décembre 2002, B._ a acheté la part de propriété par étages 4103-1 (426/1000èmes) de la parcelle n° 4103 de la commune de Y._ pour 105'000 fr. Le même jour, A._ a acquis la seconde part de propriété par étages n° 4103-2 (574/1000èmes) de cette parcelle.
Selon l'acte d'achat-vente, l'immeuble de base n° 4103 est au bénéfice d'une servitude d'usage de chaufferie et d'une servitude de passage à pied permettant l'accès à cette chaufferie, toutes les deux à charge de la parcelle n° 4102.
Jusqu'en 2005, les copropriétaires de l'immeuble n° 4103 ont utilisé les canalisations multiples (eau, gaz, électricité et mazout) passant sur l'immeuble n° 4102 bien qu'aucune servitude de canalisations ne soit inscrite en ce sens au registre foncier.
D. Au cours de l'année 2005, la chaufferie commune sise sur la parcelle n° 4102 est tombée en panne. Les époux F._ ont alors installé une chaufferie destinée à leur seul usage.
Ils s'opposent depuis à ce que B._ et A._ utilisent les canalisations multiples reliant les deux immeubles au motif que cette utilisation ne fait pas l'objet d'une servitude inscrite au registre foncier.
E. Le 6 octobre 2006, B._ et A._ ont ouvert action en rectification du registre foncier (<ref-law>) contre les époux F._. Ils ont conclu à l'inscription en faveur de la parcelle n° 4103 d'une servitude de canalisations multiples à charge de la parcelle n° 4102. Après enquêtes, ils ont persisté dans leurs conclusions, invoquant encore l'<ref-law> à l'appui de leur demande d'inscription.
Les époux F._ se sont opposés à l'inscription de la servitude sollicitée.
Le 31 mars 2008, B._ a vendu sa part de copropriété de 426/1000èmes de la parcelle n° 4103 pour un montant de 195'000 fr. à C._, D._ et E._, chacun pour un tiers.
Par jugement du 15 mai 2008, le Tribunal de première instance du canton de Genève a débouté les demandeurs de leurs conclusions.
F. Le 15 mai 2009, la Cour de justice du canton de Genève a rejeté l'appel formé par B._ et A._ contre ce jugement. En bref, elle a considéré que les actions tendant à la rectification du registre foncier et à l'inscription d'une servitude de conduite nécessaire devaient être rejetées, faute de légitimation active des demandeurs. Par surabondance de moyens, la cour cantonale a jugé que l'action en rectification du registre foncier devait de toute manière être rejetée car cette disposition ne s'appliquait qu'en cas d'inscription erronée et non, comme en l'espèce, en l'absence d'inscription. Elle a encore estimé que les conditions d'une inscription fondées sur l'<ref-law> n'étaient pas réunies, les demandeurs n'ayant pas établi que les travaux de raccordement et de pose d'une chaudière qui devaient être réalisés en l'absence d'une servitude engendreraient des frais excessifs. Enfin, elle a déclaré irrecevable l'action tendant à la constitution d'une servitude d'empiètement (<ref-law>) au motif qu'il s'agissait d'une conclusion nouvelle, prohibée par le droit cantonal au stade de l'appel.
G. Contre cet arrêt, A._, B._, C._, D._ et E._ ont formé un recours en matière civile au Tribunal fédéral. Ils concluent à l'inscription au registre foncier d'une servitude de canalisations multiples en faveur de la parcelle n° 4103 et à charge de la parcelle n° 4102.
La Cour de justice s'est référée aux considérants de son arrêt. Quant aux intimés, ils ont conclu au rejet du recours.

Considérant en droit:
1. 1.1 Le jugement attaqué tranche une contestation civile (<ref-law>) portant sur la rectification du registre foncier et l'inscription d'une servitude grevant le fonds des intimés en faveur des recourants, à savoir un droit de nature pécuniaire (pour l'action tendant à l'inscription d'une servitude, cf. <ref-ruling>; <ref-ruling> consid. 1; 5C.302/2006 du 20 septembre 2007 consid. 2 non publié in <ref-ruling>; 5C.246/2004 du 2 mars 2005 consid. 1 non publié in JdT 2005 I 140; pour l'action en rectification du registre foncier, cf. <ref-ruling> consid. 1.2 non publié).
1.2 Le recours en matière civile n'est ouvert que si la valeur litigieuse minimale fixée par la loi, en l'espèce 30'000 fr., est atteinte (<ref-law>). C'est le montant encore litigieux devant la dernière instance cantonale qui est déterminant (<ref-law>). L'autorité cantonale de dernière instance doit mentionner la valeur litigieuse dans son arrêt (art. 112 al. 1 let. d LTF). Si les conclusions ne tendent pas au paiement d'une somme d'argent déterminée, le Tribunal fédéral vérifie librement la valeur litigieuse selon son appréciation (<ref-law>). Il n'est lié pour cela ni par l'estimation de la partie recourante ou un accord des parties (<ref-ruling> consid. 1c/ee), ni par une estimation manifestement erronée de l'autorité cantonale.
S'agissant d'une contestation portant sur l'existence d'une servitude, la valeur litigieuse correspond à l'augmentation de valeur qu'elle procure au fonds dominant ou, si elle est plus élevée, la diminution de valeur du fonds servant (<ref-ruling> consid. 1; <ref-ruling> consid. 2; <ref-ruling> consid. 1; <ref-ruling> consid. 1). Pour une servitude de conduite qui répond à un besoin fondamental en ce sens qu'elle assure le ravitaillement en eau, gaz, électricité et mazout, sa valeur correspond aux possibilités d'exploitation qu'elle confère, qui se détermine par la différence entre la valeur du terrain sans la conduite et celle qu'il détient grâce à la présence de cette installation (cf. Maryse Pradervand-Kernen, La valeur des servitudes foncières et du droit de superficie, 2007, p. 246).
En l'espèce, l'autorité cantonale a estimé que la valeur de la servitude contestée était indéterminée. Contrairement à ce que prétendent les recourants, le coût des travaux de raccordement au domaine public - qu'ils chiffrent à 100'000 fr. -- ne renseigne pas sur la plus-value que la servitude apporterait au fonds dominant. Vu la situation du fonds dominant (zone à bâtir de X._) et les constructions érigées sur le terrain, il y a toutefois lieu de retenir que la plus-value apportée par la servitude de conduite assurant le ravitaillement en eau, gaz et électricité, est manifestement supérieure à 30'000 fr.
1.3 A qualité pour former un recours en matière civile quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de le faire (<ref-law>) et a un intérêt juridique à l'annulation ou à la modification de l'arrêt attaqué (<ref-law>). Ainsi, celui qui a été privé de la possibilité de prendre part à la procédure parce que l'autorité précédente ne l'a, à tort, pas reconnu comme partie, garant ou intervenant ou parce qu'elle l'a ignoré est également habilité à recourir contre la décision qui l'empêche de prendre part à la procédure - à condition qu'il puisse faire valoir un intérêt juridique (Message du 28 février 2001 concernant la révision totale de l'organisation judiciaire fédérale in FF 2001. p. 4111; KATHRIN KLETT, Commentaire bâlois, 2008, n. 3 ad <ref-law>; BERNARD CORBOZ, Commentaire de la LTF, 2009, n. 9 ad art. 76; YVES DONZALLAZ, Loi sur le Tribunal fédéral, Commentaire, 2008, n° 2360).
En l'occurrence, C._, D._ et E._ n'étaient pas parties à la procédure cantonale. Par ailleurs, bien que la cour cantonale leur ait dénié la qualité de partie à la procédure, ils ne critiquent pas l'arrêt attaqué sur ce point. Dans ces conditions, le recours est irrecevable en tant qu'il est exercé par C._, D._ et E._. Il est en revanche recevable dans la mesure où il est interjeté par B._ et A._.
1.4 En ce qui concerne les autres conditions de recevabilité, le présent recours a été interjeté dans le délai (art. 46 al. 1 let. b et 100 al. 1 LTF) et la forme (<ref-law>) prévus par la loi. Il est enfin dirigé contre une décision finale (<ref-law>), rendue par une autorité cantonale de dernière instance (<ref-law>), de sorte qu'il est en principe recevable.
2. Les recourants dénoncent en premier lieu des constatations de fait manifestement inexactes.
2.1 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant ne peut critiquer ceux-ci que s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.3) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). La correction du vice doit en outre être susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui prétend que les constatations de fait sont arbitraires doit démontrer, par une argumentation précise et circonstanciée, en quoi consiste la violation (<ref-law>; <ref-ruling> consid. 2.2; 133 II 545 consid. 2.2).
2.2 Les recourants prétendent qu'il était arbitraire de retenir que les intimés pensaient de bonne foi au moment de l'acquisition de la parcelle n° 4102 que celle-ci n'était pas grevée d'une servitude de conduite en faveur du fonds appartenant aux recourants. Ils estiment que s'il avait été constaté que les intimés connaissaient l'existence de la servitude, les juges cantonaux auraient admis l'action en rectification du registre foncier (<ref-law>). Le grief doit être rejeté dès lors que la bonne ou mauvaise foi des acquéreurs de la parcelle n° 4102 ne joue aucun rôle dans l'issue de l'action fondée sur l'<ref-law> (cf. consid. 4 infra).
2.3 Sous le titre "montant des travaux", les recourants ne s'en prennent pas aux constatations de fait mais contestent en réalité l'appréciation juridique de la cour cantonale au sujet du caractère excessif des frais nécessaires en cas de refus de la servitude de conduite demandée. Cette question sera examinée dans le cadre de l'examen de l'<ref-law> (consid. 5 infra).
3. Les recourants reprochent à l'autorité précédente de leur avoir dénié la légitimation active aussi bien dans l'action tendant à la rectification du registre foncier que dans l'action en inscription d'une servitude de conduite nécessaire.
3.1 Il y a lieu d'examiner d'abord la qualité pour agir à l'action tendant à l'inscription d'une servitude de conduite nécessaire (691 al. 1 CC).
3.1.1 Pour la constitution d'un droit réel en faveur de la parcelle de base, le concours de tous les copropriétaires est nécessaire, sauf règles contractuelles différentes (<ref-law>). L'unanimité est nécessaire, non seulement pour la constitution de droits réels grevant l'immeuble en copropriété, mais aussi pour la création de tels droits en faveur dudit immeuble (<ref-ruling> consid. 2b).
Il faut distinguer la question de la légitimation active - qui relève du droit fédéral - des effets qu'entraîne une aliénation du droit réel propriété du demandeur alors que la procédure est pendante. En l'absence, comme en l'espèce, de dispositions de droit fédéral, cette dernière question relève du droit cantonal (<ref-ruling> consid. 1c; <ref-ruling> consid. 3a/bb; <ref-ruling> consid. 2). Dans le canton de Genève, l'aliénation de l'objet du litige en cours de procédure n'influence pas la qualité pour agir (SJ 1984 p. 575 consid. 5; cf. arrêt 4C.295/2001 du 24 janvier 2002 consid. 2f; BERTOSSA/GAILLARD/GUYET/SCHMID, Commentaire de la loi de procédure civile du canton de Genève, n. 7 ad art. 1; NICOLAS JEANDIN, Parties au procès : Mouvement et (r)évolution, p. 29).
3.1.2 En l'espèce, B._ et A._, alors seuls propriétaires des parts d'étages constituées sur la parcelle n° 4103, ont ouvert action contre les propriétaires de la parcelle n° 4102 en vue d'obtenir l'inscription de la servitude litigieuse. Les deux propriétaires d'étages avaient la qualité pour agir dans cette procédure. Par la suite, l'aliénation de la part de propriété d'étages de B._ intervenue en cours de procédure devant le Tribunal de première instance n'a pas influencé la qualité pour agir. Dès lors, en rejetant l'action au motif qu'elle n'avait pas été ouverte au nom de la communauté des copropriétaires qui n'avait d'ailleurs pris aucune décision formelle à ce propos, la cour cantonale a violé le droit fédéral.
3.2 S'agissant de la qualité pour agir à l'action tendant à la rectification du registre foncier (<ref-law>), la question souffre de demeurer indécise dès lors que cette action doit de toute façon être rejetée pour les motifs développés ci-après (consid. 4).
4. Les recourants ont en premier lieu demandé la rectification du registre foncier sur la base de l'<ref-law> pour obtenir l'inscription de la servitude de conduites à la charge de la parcelle n° 4102.
4.1 Celui dont les droits réels ont été lésés par une inscription faite ou par des inscriptions modifiées ou radiées sans cause légitime, peut en exiger la radiation ou la modification (<ref-law>).
Cette action a pour but de corriger des inscriptions dépourvues de cause légitime dès l'origine ou qui ont perdu leur valeur à la suite de l'extinction d'un droit réel, par ex. en cas d'annulation d'une servitude qui a perdu toute utilité pour le fonds dominant (<ref-law>). Une opération est dépourvue de cause légitime si les conditions matérielles de l'opération font défaut, à savoir si le titre d'acquisition et/ou la réquisition d'inscription ne sont pas valables (par ex. l'acte juridique sur lequel l'inscription se fonde est nul; celui qui requiert l'inscription n'avait pas le pouvoir de disposer; PAUL-HENRI STEINAUER, Les droits réels, I, 4ème éd., 2007, n° 954 ss). Le caractère indû de l'opération doit être prouvé par le demandeur (HENRI DESCHENAUX, Le registre foncier in : Traité de droit privé suisse, V, II, 2, p. 670).
4.2 En l'espèce, les recourants demandent l'inscription d'une servitude de conduites dont l'existence dépend de son inscription au registre foncier (<ref-law>). Bien qu'ils se fondent sur l'<ref-law>, ils n'ont pas établi l'existence d'une inscription indue, voire d'une non-inscription indue en ce qui concerne la parcelle n° 4103. Ils ne se prévalent pas d'une erreur du conservateur du registre mais des parties et du notaire, lequel n'aurait pas transmis les indications correctes au registre; ils n'ont donc ni allégué, ni prouvé que l'inscription ne correspondait pas à l'acte constitutif, qu'ils n'ont d'ailleurs pas produit. Dans ces circonstances, ils ne sauraient obtenir la correction du registre au moyen de l'<ref-law>. En les déboutant de cette action, la cour cantonale n'a donc pas violé le droit fédéral.
5. Les recourants estiment qu'ils ont droit à l'inscription de la servitude de conduites sur la base de l'<ref-law> (droit de conduite nécessaire).
5.1 Aux termes de cette disposition, le propriétaire est tenu, contre réparation intégrale et préalable du dommage, de permettre l'établissement, à travers son fonds, d'aqueducs, de drains, tuyaux de gaz et autres, ainsi que de conduites électriques aériennes ou souterraines; il n'y est toutefois obligé que s'il est impossible d'exécuter ces ouvrages autrement ou sans frais excessifs. La loi accorde au propriétaire le droit d'obtenir du voisin la constitution d'une servitude de conduite aux conditions suivantes. En premier lieu, le propriétaire demandant à être mis au bénéfice de la servitude ne doit pas se trouver dans un cas où il pourrait demander l'expropriation (<ref-law>). Par ailleurs, il n'est tenu de permettre l'établissement de la conduite à travers son fonds que s'il est impossible d'exécuter l'ouvrage autrement ou sans frais excessifs. Enfin, il a le droit d'obtenir la réparation intégrale du dommage qu'il subit.
Pour juger si les coûts sont excessifs, il ne suffit pas d'examiner la valeur de la conduite. Il faut comparer la charge qu'entraînera la constitution de la servitude pour le propriétaire contraint de permettre le passage de la conduite sur son fonds et le bénéfice que le propriétaire voisin en tirera. Le juge doit par conséquent procéder à une pesée des intérêts des parties en présence pour décider si le propriétaire doit tolérer le passage des conduites sur son fonds ou s'il paraît plus équitable d'imposer une autre solution au propriétaire qui requiert l'établissement de la conduite (MEIER-HAYOZ, Commentaire bernois, n. 42-44 ad art. 691; FRANZ XAVER BRÜCKER, Das nachbarrechtliche Durchleitungsrecht unter Berücksichtigung von Lehre und Rechtsprechung zum Notwegrecht, zum Überbaurecht und zum Notbrunnenrecht, 1991, p. 84; HEINZ REY, Commentaire bâlois, 3ème éd., 2007, n. 7 ad <ref-law>; Michel Pittet, Les servitudes légales, 1967, p. 95-96; SAMUEL SCHATZMANN, Das nachbarrechtliche Durchleitungsrecht nach schweizerischem Privatrecht, 1986, p. 66; HAAB, Commentaire zurichois, n. 7 ad art. 691/3 CC). Il dispose d'une certaine marge d'appréciation (<ref-law>; ARTHUR MEIER-HAYOZ, op. cit., n. 44 ad <ref-law>; HEINZ REY, loc. cit.).
5.2 La cour cantonale a rejeté la conclusion tendant à la constitution d'une servitude de conduite nécessaire au motif que les recourants n'avaient pas établi le caractère excessif des frais qu'entraînerait l'ouvrage au cas où la servitude serait refusée. Pour juger de ce critère, ils ont tenu compte de la valeur vénale de l'immeuble des recourants, arrêtée à 457'746 fr., du coût des travaux (entre 10'000 et 15'000 fr. pour l'installation d'une chaudière indépendante) auxquels il faut ajouter les travaux de raccordement (60'000 fr. à 70'000 fr. plus 10% pour tenir compte du fait que les travaux de génie civil dans la rue étaient terminés et que les bâtiments ne pouvaient ainsi plus en bénéficier) et de la plus-value de 20% (91'550 fr.) qu'apporterait au fonds une conduite indépendante. Ils ont conclu que, puisque le coût des travaux d'installation d'une nouvelle conduite correspondait à la plus-value apportée au fonds, ils ne pouvaient être qualifiés d'excessifs.
En procédant de cette manière, la cour s'est fondée sur un critère non déterminant à lui seul, à savoir le coût des travaux nécessaires à l'installation d'une conduite indépendante de celle des intimés. Contrairement à ce qu'exige le droit fédéral, elle n'a pas procédé à une pesée des intérêts respectifs des parties en examinant si les charges et inconvénients que subiront les intimés du fait de l'utilisation des conduites par les recourants - sans perdre de vue que les intimés ont droit à une compensation financière pour le dommage subi (cf. FRANZ XAVER BRÜCKER, op. cit., p. 84-85) - avec l'intérêt des recourants. En l'espèce, au vu du dossier, il apparaît que l'intérêt des intimés consisterait principalement à éviter des conflits avec leurs voisins au sujet de l'encaissement des parts de consommation d'eau et d'électricité; en revanche, ils ne peuvent se prévaloir d'éventuels désagréments que leur causeraient les travaux d'installation de la conduite - celle-ci étant déjà en place - ou du fait que leur terrain serait plus difficilement constructible en raison de la présence de cette conduite. Quant aux recourants, l'octroi de la servitude sollicitée leur permettrait d'éviter le coût d'une conduite indépendante et d'utiliser la servitude d'usage de chaufferie et de passage à pied pour accéder à cette chaufferie inscrite en faveur de leur fonds et grevant le fonds des intimés. Il n'appartient toutefois pas au Tribunal fédéral de procéder lui-même à la pesée d'intérêts qui doit être effectuée par le juge du fait et ne peut être contrôlée par le Tribunal fédéral qu'avec réserve (<ref-ruling> consid. 4.1, 571 consid. 4.3). En conséquence, le recours doit être admis et la cause renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants.
6. Les recourants ont, à titre subsidiaire, demandé l'inscription d'une servitude d'empiètement en se fondant sur l'<ref-law>. Ils font valoir que les canalisations constituent des empiètements auxquels les intimés ne se sont pas opposés en temps utile.
La cour cantonale a déclaré cette conclusion irrecevable au motif qu'elle était nouvelle, soit qu'elle n'avait pas été soumise au premier juge (<ref-law>/GE). L'argumentation des recourants, qui se contentent d'affirmer que les juges précédents étaient tenus, en vertu du principe iura novit curia, d'examiner la possibilité d'inscrire une servitude d'empiètement, n'est pas topique. Ils perdent de vue que le principe iura novit curia signifie certes que le juge est tenu d'appliquer le droit d'office sans se limiter aux moyens énoncés mais ne lui permet pas de statuer sur une conclusion nouvelle (arrêt 4A_420/2007 du 21 septembre 2007 consid. 7.2) qui tend à élargir l'objet du litige et n'a pas été soumise à l'autorité précédente (FF 2001 p. 4137). Or, ils ne contestent pas que la demande tendant à l'inscription d'une servitude d'empiètement est une conclusion nouvelle et que celle-ci est irrecevable en vertu du droit cantonal. Faute de s'en prendre aux motifs de la cour cantonale, leur critique est irrecevable (<ref-law>; LAURENT MERZ in : Commentaire bâlois, n. 52 et 74 ss ad <ref-law>).
7. Au vu de ce résultat, les frais judiciaires sont mis à la charge des intimés qui succombent (<ref-law>). Ils verseront également solidairement une indemnité de dépens aux recourants (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à la cour cantonale pour nouvelle décision.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge des intimés.
3. Une indemnité de 4'000 fr., à payer aux recourants à titre de dépens, est mise à la charge des intimés, solidairement entre eux.
4. Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 2 février 2010
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Hohl Rey-Mermet