Faits:
A. Un litige est survenu au sujet de l'exercice d'une servitude de passage à pied et pour tous véhicules, inscrite au Registre foncier sous n° xxx'xxx, constituée notamment en faveur de l'immeuble n° 1884, sis à X._, dont les époux A._ sont propriétaires. Ceux-ci reprochaient en particulier aux époux B._ (propriétaires de l'immeuble n° 1881) et aux époux D._ (propriétaires de l'immeuble n° 1883) de parquer leurs véhicules à un endroit illégal ("sur le 'triangle vert'") et à C._ (propriétaire de l'immeuble n° 1882) de parquer le sien devant son immeuble, sur le chemin menant à leur propriété.
Les époux A._ ont mandaté E._, géomètre officiel, pour qu'il procède aux relevés nécessaires à délimiter l'assiette de la servitude. Selon le rapport et les compléments que cet expert a rendus en 2006, des murs construits à l'angle de l'immeuble n° 1883 empiétaient sur la servitude à raison de 40 cm environ, la place de stationnement située en face d'un de ces murs n'était pas conforme à une norme professionnelle et un passage assurant la largeur nécessaire de 3 mètres entre les immeubles n° 1881 et 1883 supposait la suppression de la place de stationnement située sur l'immeuble n° 1881 ou le recul du mur situé sur l'immeuble n° 1883.
Les honoraires et débours du géomètre se sont élevés à 14'075 fr., montant dont se sont acquittés les époux A._.
B. B.a Par demande du 3 novembre 2006 déposée devant le Tribunal civil de l'arrondissement de l'Est vaudois, les époux A._ ont ouvert action contre les personnes précitées, en prenant les sept chefs de conclusions suivants:
I. La place de stationnement prévue au profit de l'immeuble n° 1881 sur la commune de X._ dans la servitude RF n° xxx'xxx est déclarée incompatible avec l'exercice de la servitude permettant le passage à pied ou pour tous véhicules et elle doit être supprimée.
II. En conséquence, la servitude RF n° xxx'xxx est modifiée en ce sens que le droit du propriétaire de la parcelle n° 1881 de laisser stationner un véhicule dans la zone hachurée en rouge est supprimé.
III. Ordre est donné au Conservateur du Registre foncier du district de Y._ d'inscrire la modification indiquée sous chiffre II.
IV. Les murs érigés au nord-ouest et au nord-est de l'immeuble n° 1883 sur la commune de X._ empêchant l'exercice de la servitude RF n° xxx'xxx permettant le passage à pied ou pour tous véhicules, ordre est donné aux époux D._, propriétaires dudit bien-fonds, de déplacer ces murs à l'intérieur de la parcelle, d'une distance qui sera fixée à dire de Justice, afin de permettre l'exercice de la servitude par les propriétaires des biens-fonds dominants.
V. Ordre est donné aux époux B._, propriétaires de l'immeuble n° 1881 sur la commune de X._, de cesser avec effet immédiat de parquer leur véhicule ou de laisser des tiers parquer leur véhicule ou de laisser tout autre objet sur la place de stationnement située sur l'assiette de la servitude RF n° xxx'xxx sous les peines de droit prévues à l'art. 292 du Code pénal suisse.
VI. Ordre est donné à C._, propriétaire de l'immeuble n° 1882 sur la commune de X._, de cesser avec effet immédiat de parquer son véhicule ou de laisser des tiers parquer leur véhicule ou de laisser tout autre objet sur l'assiette de la servitude RF n° xxx'xxx sous les peines de droit prévues à l'art. 292 du Code pénal suisse.
VII. Ordre est donné aux époux D._, propriétaires de l'immeuble n° 1883 sur la commune de X._, de cesser avec effet immédiat de parquer leur véhicule ou de laisser des tiers parquer leur véhicule ou de laisser tout autre objet à l'angle nord-ouest de leur bien-fonds afin de permettre l'exercice de la servitude RF n° xxx'xxx par les propriétaires des fonds dominants, sous les peines de droit prévues à l'art. 292 du Code pénal suisse.
Le 21 août 2007, ils ont complété leurs conclusions en requérant, dans un chiffre VIII, le paiement du montant de 14'075 fr., avec intérêts à 5% l'an dès cette date, correspondant aux frais de l'expertise privée.
Les défendeurs ont conclu au rejet des conclusions, C._ prenant en outre, à titre subsidiaire, une conclusion reconventionnelle tendant à ce que le feuillet n° 1882 de X._ soit libéré partiellement de la servitude en cause, conclusion que les demandeurs ont rejetée. Le 15 décembre 2008, les défendeurs ont conclu après réforme, subsidiairement, à ce qu'il soit prononcé que le contrat de modification de servitude foncière "Passage pour piétons et pour tous véhicules" n° xxx'xxx du 17 décembre 2003 était nul en ce qui concernait le tronçon de chemin situé sur la parcelle n° 1882 (II) et qu'ordre soit donné au Conservateur du Registre foncier de Y._ de rétablir sur la parcelle n° 1882 l'assiette de la servitude de passage à pied et pour tous véhicules n° xxx'xxx telle qu'elle ressortait du plan F._ du 3 août 1959 annexé à la convention en vue de la modification d'une servitude de passage à pied et pour tous véhicules du 19 mars 1960 (III). Les demandeurs ont conclu au rejet de ces conclusions.
En cours d'instance, deux expertises ont été confiées à un ingénieur géomètre officiel. Par ailleurs, une inspection locale a eu lieu le 11 mai 2011.
Par jugement du 6 juin 2011, le tribunal d'arrondissement a rendu le dispositif suivant:
I. admet partiellement les conclusions de la demande déposée le 3 novembre 2006 par les époux A._ à l'encontre des époux B._, de C._ et des époux D._;
II. ordonne à C._, propriétaire de l'immeuble n° 1882 sur la Commune de X._, de cesser avec effet immédiat de parquer son véhicule ou de laisser des tiers parquer leur véhicule ou de laisser tout autre objet sur l'assiette de la servitude RF n° xxx'xxx sous les peines de droit prévues à l'art. 292 du Code pénal suisse qui stipule (...);
III. ordonne aux époux D._, propriétaires de l'immeuble n° 1883 sur la Commune de X._, de cesser avec effet immédiat de parquer leur véhicule ou de laisser des tiers parquer leur véhicule ou de laisser tout autre objet à l'angle nord-ouest de leur bien-fonds afin de permettre l'exercice de la servitude RF n° xxx'xxx par les propriétaires du fonds dominant, sous les peines de droit prévues à l'art. 292 du Code pénal suisse;
IV. dit que les époux B._, les époux D._ et C._, conjointement et solidairement entre eux, sont reconnus débiteurs des époux A._ et leur doivent prompt paiement de 9'838 fr. 30 avec intérêts à 5% l'an dès le 21 août 2007;
V. arrête les frais de la cause à 10'213 fr. 80 à la charge des époux A._ et à 8'783 fr. 80 à la charge des époux B._, de C._ et des époux D._, solidairement entre eux;
VI. (...);
VII. dit que les époux B._, C._ et les époux D._ sont les débiteurs des époux A._ de la somme de 12'809 fr. 20, TVA en sus sur 6'000 fr., à titre de dépens réduits, à savoir 6'809 fr. 20 en remboursement partiel de leurs frais de justice et 6'000 fr., TVA en sus, à titre de participation aux honoraires et débours de leur conseil;
VIII. (...);
IX. (...).
S'agissant de la répartition des frais de l'expertise privée et des dépens, le tribunal a estimé que, si les demandeurs n'avaient pas obtenu gain de cause sur les conclusions pour lesquelles ils avaient mandaté un expert à titre privé, celui-ci avait néanmoins révélé des empiètements sur la servitude litigieuse, ce qui justifiait que les défendeurs assument les deux tiers des frais de l'expertise privée; relevant que les demandeurs obtenaient partiellement gain de cause, le tribunal a condamné les défendeurs à leur verser des dépens réduits.
B.b Les époux B._, les époux D._ ainsi que C._ ont interjeté un appel contre ce jugement devant la Cour d'appel civile du Tribunal cantonal vaudois. Cette autorité a admis l'appel, réformant les chiffres IV et VI [recte: VII] du dispositif du jugement attaqué, en ce sens que le chiffre IV est supprimé et que le chiffre VII dit que les époux A._, solidairement entre eux, doivent payer aux époux B._, à C._ et aux époux D._ la somme de 9'370 fr. 75 à titre de dépens réduits. La cour a confirmé le jugement attaqué au surplus, étant précisé que les chiffres VI et VIII de son dispositif étaient sans objet.
C. Par acte du 18 mai 2012, les époux A._ interjettent un recours constitutionnel subsidiaire contre cet arrêt. Principalement, ils en demandent la réforme, en ce sens que, sous suite de frais et dépens, l'appel est rejeté et le dispositif du jugement du 6 juin est confirmé. Subsidiairement, ils concluent à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. En substance, ils se plaignent de la violation de l'art. 9 Cst. dans l'application de l'art. 92 de l'ancien Code de procédure civile vaudois du 14 décembre 1966 (ci-après: aCPC/VD).
Des observations n'ont pas été requises.
Considérant en droit:
1. Le recevabilité du recours dirigé contre une question accessoire, dont fait partie la répartition des frais et dépens, se détermine en fonction du fond du litige, dans la mesure où aucune procédure spéciale n'est prévue (ATF 134 V 138 consid. 1.1; 134 I 159 consid. 1.1; arrêt 4A_420/2008 du 9 décembre 2008 consid. 1.1). En l'occurrence, le recours est dirigé contre une décision finale (art. 90 LTF). Le litige relève quant au fond des droits réels, soit d'une matière civile (art. 72 al. 1 LTF) et il est de nature pécuniaire (arrêt 5A_52/2009 du 27 février 2009 consid. 1). En cas de recours dont l'objet porte exclusivement sur les frais et dépens, lorsque le fond de la cause était encore litigieux devant l'autorité cantonale, la valeur litigieuse devant le Tribunal fédéral se détermine selon ces conclusions au fond. Le recours en matière civile est donc recevable lorsque les conclusions encore en cause devant l'autorité précédente atteignaient la valeur litigieuse requise, même si les frais et dépens restent pour leur part en dessous de cette valeur (art. 51 al. 1 LTF; ATF 137 III 47 consid. 1.2.2). En revanche, lorsque seuls les frais et dépens étaient litigieux devant l'autorité cantonale, à l'exclusion du fond de la cause, la valeur litigieuse devant le Tribunal fédéral se détermine selon ces seules conclusions relatives aux frais et dépens (arrêt 5A_396/2012 du 5 septembre 2012, consid. 1.2), soit en l'occurrence 9'383 fr.; le seuil de 30'000 fr. (art. 74 al. 1 let. b LTF) n'est ainsi pas atteint et aucune des exceptions légales n'est réalisée (art. 74 al. 2 LTF). Partant, seul le recours constitutionnel subsidiaire est ouvert (art. 113 ss LTF). En outre, le recours a été déposé en temps utile (art. 46 al. 2 et 100 al. 1, en relation avec l'art. 117 LTF) et dans la forme requise (art. 42 LTF), par une partie ayant pris part à la procédure devant l'autorité précédente et ayant un intérêt juridique à l'annulation ou à la modification de la décision attaquée (art. 115 LTF), contre une décision rendue par une autorité cantonale de dernière instance, statuant sur recours (art. 75 LTF, en relation avec l'art. 114 LTF). Le recours constitutionnel est ainsi en principe recevable au regard de ces dispositions.
2. Le recours constitutionnel peut être formé uniquement pour violation des droits constitutionnels (art. 116 LTF). Conformément à l'art. 106 al. 2 LTF (applicable en vertu du renvoi de l'art. 117 LTF), le Tribunal fédéral n'examine la violation de droits fondamentaux - notion qui englobe les droits constitutionnels (ATF 133 III 638 consid. 2) - que si un tel moyen a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée ("principe d'allégation", ATF 134 II 244 consid. 2.2; 349 consid. 3 et les références). Il n'entre pas en matière sur les critiques de nature appellatoire (ATF 133 II 396 consid. 3). Lorsque le recourant se plaint d'arbitraire (art. 9 Cst.), il ne peut dès lors se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours dispose d'une libre cognition; il ne saurait se contenter d'opposer son opinion à celle de la juridiction précédente, mais doit démontrer, par une argumentation précise, que cette décision se fonde sur une application du droit manifestement insoutenable (ATF 134 II 349 consid. 3 et les références).
3. Les recourants invoquent de manière générale dans leur recours la violation de l'interdiction de l'arbitraire, au sens de l'art. 9 Cst., dans l'application de l'art. 92 aCPC/VD et des règles de droit fédéral relatives à la fixation des dépens.
Ils reprochent tout d'abord à l'autorité cantonale d'avoir rendu une décision arbitraire en leur faisant supporter l'entier des frais de l'expertise privée qu'ils ont mise en ?uvre avant procès.
3.1 L'autorité cantonale a considéré que les recourants n'avaient pas "obtenu gain de cause sur les conclusions dont on pouvait admettre que le recours à une expertise privée avant procès, telle que celle confiée au géomètre, était justifié pour les établir, à savoir sur les conclusions I, II, III et V" et "sur la conclusion IV". Ils avaient uniquement obtenu gain de cause sur leurs conclusions VI et VII, aux chiffres II et III du dispositif. Sur ces deux questions, l'expertise privée n'était nullement nécessaire, les conclusions ayant pu être admises sur la base des documents déposés au Registre foncier, d'une inspection locale et d'un raisonnement strictement juridique qui ne se fondait sur aucune notion technique. Se fondant sur les art. 41 CO et 679 CC pour trancher la question, l'autorité cantonale a dès lors considéré que l'expertise privée n'était ni nécessaire ni justifiée pour établir les prétentions sur lesquelles les recourants avaient obtenu gain de cause. Ceux-ci ne pouvaient dès lors pas obtenir le remboursement des frais en découlant, à titre de réparation du dommage, auprès des défendeurs.
3.1 L'autorité cantonale a considéré que les recourants n'avaient pas "obtenu gain de cause sur les conclusions dont on pouvait admettre que le recours à une expertise privée avant procès, telle que celle confiée au géomètre, était justifié pour les établir, à savoir sur les conclusions I, II, III et V" et "sur la conclusion IV". Ils avaient uniquement obtenu gain de cause sur leurs conclusions VI et VII, aux chiffres II et III du dispositif. Sur ces deux questions, l'expertise privée n'était nullement nécessaire, les conclusions ayant pu être admises sur la base des documents déposés au Registre foncier, d'une inspection locale et d'un raisonnement strictement juridique qui ne se fondait sur aucune notion technique. Se fondant sur les art. 41 CO et 679 CC pour trancher la question, l'autorité cantonale a dès lors considéré que l'expertise privée n'était ni nécessaire ni justifiée pour établir les prétentions sur lesquelles les recourants avaient obtenu gain de cause. Ceux-ci ne pouvaient dès lors pas obtenir le remboursement des frais en découlant, à titre de réparation du dommage, auprès des défendeurs.
3.2 3.2.1 Les recourants soutiennent en substance qu'ils n'ont certes pas obtenu gain de cause sur les conclusions au sujet desquelles le géomètre s'est exprimé, mais que le rapport de cet expert a toutefois révélé des empiètements sur la servitude, empiètements que l'expertise judiciaire a confirmés. Par ailleurs, ils soulignent que l'expert judiciaire a indiqué que la mensuration officielle est reproduite exactement sur le plan du géomètre, mais qu'elle est erronée; selon les recourants, le plan cadastral contient une erreur de levé que seule la comparaison entre le plan établi par le géomètre qu'ils ont mandaté et le plan cadastral permet de démontrer.
3.2.2 Par cette critique, les recourants se bornent à relever que l'expertise privée a permis de révéler des faits autres que ceux qui ont conduit à donner suite à leurs conclusions. Ils ne critiquent pas l'argument de l'autorité cantonale selon lequel l'expertise privée n'était dès lors ni nécessaire ni justifiée pour établir leurs prétentions, étant donné que le juge de première instance a établi les faits pertinents à cet égard en appréciant le résultat de l'administration d'autres moyens de preuve. Purement appellatoire, la critique est donc irrecevable (cf. supra consid. 2).
4. Les recourants reprochent ensuite à l'autorité cantonale d'avoir appliqué de manière arbitraire l'art. 92 aCPC/VD lors de la répartition des dépens.
Selon l'art. 92 aCPC/VD relatif à l'allocation des dépens, ceux-ci sont alloués à la partie qui a obtenu l'adjudication de ses conclusions (al. 1). Lorsqu'aucune des parties n'obtient entièrement gain de cause, le juge peut réduire les dépens ou les compenser (al. 2).
4.1 L'autorité cantonale a tout d'abord précisé que, la procédure de première instance ayant été introduite en 2006, elle était régie par l'ancien droit de procédure, soit, pour l'allocation des dépens, par l'art. 92 aCPC/VD. Elle a ensuite constaté que les recourants avaient succombé sur la suppression de la place de parc en faveur de la parcelle n° 1881, qui faisait l'objet de leurs conclusions I à III et IV et qui - comme l'attestait le fait que quatre conclusions lui étaient consacrées ainsi que l'ordre dans lequel les conclusions étaient rangées - était le point le plus important du litige, ainsi que sur le déplacement des murs érigés au nord-ouest et au nord-est de la parcelle n° 1883, qui faisait l'objet de leur conclusion IV, et, enfin, sur le remboursement des frais d'expertise privée avant procès. Ils n'obtenaient gain de cause que sur leurs conclusions VI et VII, en cessation et en interdiction du trouble, dirigées contre C._ et contre les époux D._. Elle a alors jugé que, au vu de l'importance de chacune des conclusions litigieuses, les intimés gagnaient le procès sur l'essentiel et avaient droit à des dépens réduits. En écartant la procédure de réforme, qui s'était révélée inutile et dont les intimés devaient donc supporter les coûts, les frais de première instance des intimés s'étaient élevés à 6'741 fr. 50. Il convenait de leur allouer des dépens réduits, comprenant le remboursement de la moitié de cette somme, soit 3'370 fr. 75, ainsi qu'un montant de 6'000 fr. à titre de participation aux honoraires et débours de leur conseil.
4.1 L'autorité cantonale a tout d'abord précisé que, la procédure de première instance ayant été introduite en 2006, elle était régie par l'ancien droit de procédure, soit, pour l'allocation des dépens, par l'art. 92 aCPC/VD. Elle a ensuite constaté que les recourants avaient succombé sur la suppression de la place de parc en faveur de la parcelle n° 1881, qui faisait l'objet de leurs conclusions I à III et IV et qui - comme l'attestait le fait que quatre conclusions lui étaient consacrées ainsi que l'ordre dans lequel les conclusions étaient rangées - était le point le plus important du litige, ainsi que sur le déplacement des murs érigés au nord-ouest et au nord-est de la parcelle n° 1883, qui faisait l'objet de leur conclusion IV, et, enfin, sur le remboursement des frais d'expertise privée avant procès. Ils n'obtenaient gain de cause que sur leurs conclusions VI et VII, en cessation et en interdiction du trouble, dirigées contre C._ et contre les époux D._. Elle a alors jugé que, au vu de l'importance de chacune des conclusions litigieuses, les intimés gagnaient le procès sur l'essentiel et avaient droit à des dépens réduits. En écartant la procédure de réforme, qui s'était révélée inutile et dont les intimés devaient donc supporter les coûts, les frais de première instance des intimés s'étaient élevés à 6'741 fr. 50. Il convenait de leur allouer des dépens réduits, comprenant le remboursement de la moitié de cette somme, soit 3'370 fr. 75, ainsi qu'un montant de 6'000 fr. à titre de participation aux honoraires et débours de leur conseil.
4.2 4.2.1 Les recourants soutiennent tout d'abord que, les intimés n'ayant pas obtempéré à leurs admonestations et mises en demeure, ils ont été contraints d'ouvrir une action en justice. Ils affirment ensuite, sans autre argumentation, que l'importance des conclusions sur lesquelles ils ont obtenu gain de cause n'est pas moins élevée que celle des conclusions sur lesquelles ils se sont fait débouter. Ils reprochent à l'autorité cantonale d'avoir établi une hiérarchie artificielle entre les conclusions, faisant fi du contexte général de l'affaire, et d'avoir ignoré l'importance des ordres donnés par le juge, sous menace de la sanction de l'art. 292 CP. Ils ajoutent que l'autorité cantonale a ignoré que les intimés ont augmenté les frais de la procédure en requérant la mise en ?uvre d'une expertise judiciaire et en déposant une requête en réforme le 15 décembre 2008 et que la conclusion reconventionnelle de C._ a été rejetée.
4.2.2 La jurisprudence reconnaît à l'autorité cantonale de recours un large pouvoir d'appréciation dans la fixation et la répartition des frais et dépens de la procédure cantonale (ATF 111 V 48 consid. 4a). Le Tribunal fédéral n'intervient que si l'autorité a interprété ou appliqué de manière arbitraire le droit cantonal concerné ou si elle a abusé de son pouvoir d'appréciation, notamment si la décision ne peut se justifier par des raisons objectives (ATF 111 Ia 1 consid. 2a; 98 Ib 506 consid. 2; arrêt 5A_159/2009 du 16 octobre 2009 consid. 9.1).
4.2.3 En l'espèce, lorsque les recourants relèvent qu'ils ont été contraints d'ouvrir une action en justice, ils ignorent que la répartition des frais et dépens tient précisément compte du bien ou mal-fondé de cette action. Pour le reste, dans la première partie de leur critique, les recourants se contentent, de manière appellatoire, de faire valoir leur opinion sur l'importance des conclusions sans démontrer que l'autorité cantonale aurait fait preuve d'arbitraire ou abusé de son pouvoir d'appréciation dans l'application du droit cantonal en mettant en regard l'ensemble des conclusions prises par chacune des parties et en estimant, globalement, qu'il se justifiait d'accorder aux intimés des dépens réduits, dont la moitié des frais de justice leur incombant. Pour ce qui est des arguments contenus dans la seconde partie de la critique des recourants, ceux-ci ignorent que l'autorité cantonale a précisément fait supporter les frais causés par la requête en réforme du 15 décembre 2008 aux intimés, qui ont eux-même admis l'inutilité de cette requête dans leur appel (cf. appel du 6 décembre 2011, p. 9 s.). Ensuite, s'agissant des frais de l'expertise judiciaire, les recourants ne prétendent pas, a fortiori n'expliquent pas de façon conforme au principe d'allégation (cf. supra consid. 2), que cette expertise aurait été inutile aux intimés pour obtenir partiellement gain de cause sur leurs conclusions principales. Cette critique est donc insuffisante pour démontrer l'arbitraire de la décision conduisant à leur faire supporter par moitié les coûts de cette expertise; faute d'une motivation précise des recourants qui démontrerait le contraire, il ne paraît en effet pas arbitraire, à lire cette expertise, de retenir que celle-ci a permis de démontrer l'allégué n° 80 des intimés et qu'elle porte au surplus sur des faits relatifs aux conclusions sur lesquelles les recourants ont succombé (suppression de la place de parc prévue au profit de l'immeuble n° 1881, déplacement des murs sis au nord-est et nord-ouest de l'immeuble n° 1883). Enfin, l'autorité cantonale ayant tenu compte du fait que les recourants ont obtenu gain de cause sur la conclusion à laquelle C._ a, principalement, conclu au rejet et, subsidiairement, déposé une conclusion reconventionnelle, la répartition des dépens qu'elle a opérée n'apparaît pas arbitraire.
Pour autant que recevable, le grief d'application arbitraire de l'art. 92 aCPC/VD doit être rejeté.
5. En conséquence, le recours doit être rejeté, dans la très faible mesure de sa recevabilité, solidairement aux frais de ses auteurs (art. 66 al. 1 LTF). Il n'y pas lieu d'allouer de dépens (art. 68 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis solidairement à la charge des recourants.
3. Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 14 septembre 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Achtari