Faits: A. A.a C.A._ a reçu en 1981 de son père A.A._ les parcelles n0 xxx et n0 yyy du registre foncier de B._. Il a vendu la parcelle n0 xxx aux époux X._ le 3 mai 1995 et la parcelle n0 yyy aux époux Y._ le 17 octobre 2003. D._, E._ et F.A._ ont hérité de leur père B.A._ la parcelle n0 zzz du registre foncier de B._, qu'ils ont vendue aux époux Z._ en 2001. A.b Les parcelles n0 zzz et n0 yyy sont traversées par un chemin qui, partant de la pointe sud de la parcelle n0 xxx, coupe la parcelle n0 zzz du nord-est au sud-ouest puis fait un coude pour traverser la parcelle n0 yyy d'est en ouest et rejoindre la route cantonale reliant B._ à C._. Avant 1976, la partie ouest de ce chemin faisait partie du domaine public, qui formait à cet endroit une sorte de corne s'enfonçant dans la parcelle n0 yyy depuis la route cantonale. Une servitude de « passage à char », portant le n0 aaa selon un « état de réinscription » du 26 décembre 1961, existe sur une portion de ce chemin, grevant les parcelles n0 zzz et n0 yyy au profit des parcelles n0 xxx et n0 zzz. Selon le plan annexé à l'« état de réinscription » du 26 décembre 1961, l'assiette de cette servitude ne s'étend toutefois pas à la corne décrite plus haut. En effet, cette corne (n0 ad hoc bbb du plan cadastral établi le 23 avril 1976) a été incorporée à la parcelle n0 yyy en 1976, à titre d'indemnité pour l'expropriation par la Commune de B._ d'une partie d'une autre parcelle propriété de A.A._, de sorte que la parcelle n0 yyy s'étend depuis lors jusqu'à la lisière de la route cantonale. Ce changement n'a toutefois fait l'objet d'aucune adaptation du tracé de la servitude n0 aaa tel qu'il figure sur le plan déposé au registre foncier. A.c En 2002, les époux Z._ ont entrepris des travaux de rénovation et de transformation sur leur parcelle n0 zzz. Une fois les travaux effectués, il s'est avéré que le toit du bâtiment n0 zz des époux Z._ empiétait de 55 à 69 centimètres sur la parcelle n0 xxx propriété des époux X._. -:- À l'occasion de ces travaux de transformation, il était en outre prévu la construction d'un petit mur bordant la sortie des escaliers de la maison des époux Z._. Selon le plan cadastral de l'ingénieur-géomètre, ce muret empiète de 14 centimètres sur le tracé de la servitude de passage. B. B.a Le 2 septembre 2002, C.A._ (alors encore propriétaire de la parcelle n° yyy) et les époux Z._ (propriétaires de la parcelle n° zzz) ont actionné les époux X._ (propriétaires de la parcelle n° xxx) devant le Président du Tribunal d'arrondissement de Vevey, en concluant à ce que la servitude de passage à char n0 aaa grevant les parcelles n° zzz et n0 yyy au profit des parcelles n0 xxx et n° zzz soit radiée. Les époux X._ ont conclu à la libération des fins de la demande et, reconventionnellement, à ce qu'ordre soit donné au Conservateur du registre foncier du district de Vevey de rectifier son registre en ce sens que l'assiette de la servitude de passage à char n0 aaa s'étend au n° ad hoc bbb du plan cadastral établi le 23 avril 1976. B.b En cours d'instance, les époux X._ ont encore conclu à ce qu'ordre soit donné aux époux Z._, sous la menace des peines prévues par l'art. 292 CP, de supprimer les empiétements constitués par l'avant-toit de leur bâtiment n° zz, par les tuyaux de descente d'eau situés au nord-ouest et au sud-est de ce bâtiment ainsi que par le muret empiétant de 14 centimètres sur l'assiette de la servitude de passage à char n° aaa. B.c Selon convention de procédure signée par toutes les parties et ratifiée le 6 avril 2004 par le Président du Tribunal d'arrondissement, les époux Y._, nouveaux propriétaires de la parcelle n° yyy, sont devenues parties à la procédure et ont repris à leur compte tous les allégués, déterminations et conclusions contenus dans les écritures de C.A._. B.d Par jugement du 30 novembre 2005, le Président du Tribunal d'arrondissement a partiellement admis tant les conclusions des demandeurs que celles des défendeurs (I). Il a notamment invité le Conservateur du registre foncier à compléter l'assiette de la servitude de passage à char n° aaa par la surface correspondant au n° ad hoc bbb du plan cadastral établi le 23 avril 1976 (II). En outre, il a attribué aux époux Z._, à titre de droits réels, les empiétements constitués par l'avant-toit du bâtiment n° zz de la parcelle n° zzz, contre le paiement d'une indemnité de 600 fr. (IV), par les tuyaux de descente d'eau situés au nord-ouest et au sud-est de ce bâtiment, sans indemnité (V), et par le muret empiétant de 14 centimètres sur l'assiette de la servitude de passage à char n° aaa, contre une indemnité de 300 fr. (VI). B.e Par arrêt rendu le 15 novembre 2006, la Chambre des recours du Tribunal cantonal a rejeté le recours interjeté par les demandeurs contre ce jugement. Elle a en revanche partiellement admis le recours des défendeurs et a réformé le jugement de première instance au chiffre IV de son dispositif en ce sens qu'ordre est donné aux époux Z._, sous la menace des peines prévues par l'art. 292 CP, de supprimer les empiétements de toiture de leur bâtiment n° zz au nord-ouest et au nord-est. C. Agissant par la voie du recours en réforme au Tribunal fédéral, les époux Z._ et les époux Y._ concluent avec suite de frais et dépens à la réforme de cet arrêt en ce sens que la servitude litigieuse est radiée, ce qui rend sans objet l'empiétement du muret sur l'assiette de cette servitude, et que le chiffre IV du dispositif du jugement de première instance est confirmé. Les époux X._ proposent le rejet du recours.