Faits: A. Un litige est survenu au sujet de l'exercice d'une servitude de passage à pied et pour tous véhicules, inscrite au Registre foncier sous n° xxx'xxx, constituée notamment en faveur de l'immeuble n° 1884, sis à X._, dont les époux A._ sont propriétaires. Ceux-ci reprochaient en particulier aux époux B._ (propriétaires de l'immeuble n° 1881) et aux époux D._ (propriétaires de l'immeuble n° 1883) de parquer leurs véhicules à un endroit illégal ("sur le 'triangle vert'") et à C._ (propriétaire de l'immeuble n° 1882) de parquer le sien devant son immeuble, sur le chemin menant à leur propriété. Les époux A._ ont mandaté E._, géomètre officiel, pour qu'il procède aux relevés nécessaires à délimiter l'assiette de la servitude. Selon le rapport et les compléments que cet expert a rendus en 2006, des murs construits à l'angle de l'immeuble n° 1883 empiétaient sur la servitude à raison de 40 cm environ, la place de stationnement située en face d'un de ces murs n'était pas conforme à une norme professionnelle et un passage assurant la largeur nécessaire de 3 mètres entre les immeubles n° 1881 et 1883 supposait la suppression de la place de stationnement située sur l'immeuble n° 1881 ou le recul du mur situé sur l'immeuble n° 1883. Les honoraires et débours du géomètre se sont élevés à 14'075 fr., montant dont se sont acquittés les époux A._. B. B.a Par demande du 3 novembre 2006 déposée devant le Tribunal civil de l'arrondissement de l'Est vaudois, les époux A._ ont ouvert action contre les personnes précitées, en prenant les sept chefs de conclusions suivants: I. La place de stationnement prévue au profit de l'immeuble n° 1881 sur la commune de X._ dans la servitude RF n° xxx'xxx est déclarée incompatible avec l'exercice de la servitude permettant le passage à pied ou pour tous véhicules et elle doit être supprimée. II. En conséquence, la servitude RF n° xxx'xxx est modifiée en ce sens que le droit du propriétaire de la parcelle n° 1881 de laisser stationner un véhicule dans la zone hachurée en rouge est supprimé. III. Ordre est donné au Conservateur du Registre foncier du district de Y._ d'inscrire la modification indiquée sous chiffre II. IV. Les murs érigés au nord-ouest et au nord-est de l'immeuble n° 1883 sur la commune de X._ empêchant l'exercice de la servitude RF n° xxx'xxx permettant le passage à pied ou pour tous véhicules, ordre est donné aux époux D._, propriétaires dudit bien-fonds, de déplacer ces murs à l'intérieur de la parcelle, d'une distance qui sera fixée à dire de Justice, afin de permettre l'exercice de la servitude par les propriétaires des biens-fonds dominants. V. Ordre est donné aux époux B._, propriétaires de l'immeuble n° 1881 sur la commune de X._, de cesser avec effet immédiat de parquer leur véhicule ou de laisser des tiers parquer leur véhicule ou de laisser tout autre objet sur la place de stationnement située sur l'assiette de la servitude RF n° xxx'xxx sous les peines de droit prévues à l'art. 292 du Code pénal suisse. VI. Ordre est donné à C._, propriétaire de l'immeuble n° 1882 sur la commune de X._, de cesser avec effet immédiat de parquer son véhicule ou de laisser des tiers parquer leur véhicule ou de laisser tout autre objet sur l'assiette de la servitude RF n° xxx'xxx sous les peines de droit prévues à l'art. 292 du Code pénal suisse. VII. Ordre est donné aux époux D._, propriétaires de l'immeuble n° 1883 sur la commune de X._, de cesser avec effet immédiat de parquer leur véhicule ou de laisser des tiers parquer leur véhicule ou de laisser tout autre objet à l'angle nord-ouest de leur bien-fonds afin de permettre l'exercice de la servitude RF n° xxx'xxx par les propriétaires des fonds dominants, sous les peines de droit prévues à l'art. 292 du Code pénal suisse. Le 21 août 2007, ils ont complété leurs conclusions en requérant, dans un chiffre VIII, le paiement du montant de 14'075 fr., avec intérêts à 5% l'an dès cette date, correspondant aux frais de l'expertise privée. Les défendeurs ont conclu au rejet des conclusions, C._ prenant en outre, à titre subsidiaire, une conclusion reconventionnelle tendant à ce que le feuillet n° 1882 de X._ soit libéré partiellement de la servitude en cause, conclusion que les demandeurs ont rejetée. Le 15 décembre 2008, les défendeurs ont conclu après réforme, subsidiairement, à ce qu'il soit prononcé que le contrat de modification de servitude foncière "Passage pour piétons et pour tous véhicules" n° xxx'xxx du 17 décembre 2003 était nul en ce qui concernait le tronçon de chemin situé sur la parcelle n° 1882 (II) et qu'ordre soit donné au Conservateur du Registre foncier de Y._ de rétablir sur la parcelle n° 1882 l'assiette de la servitude de passage à pied et pour tous véhicules n° xxx'xxx telle qu'elle ressortait du plan F._ du 3 août 1959 annexé à la convention en vue de la modification d'une servitude de passage à pied et pour tous véhicules du 19 mars 1960 (III). Les demandeurs ont conclu au rejet de ces conclusions. En cours d'instance, deux expertises ont été confiées à un ingénieur géomètre officiel. Par ailleurs, une inspection locale a eu lieu le 11 mai 2011. Par jugement du 6 juin 2011, le tribunal d'arrondissement a rendu le dispositif suivant: I. admet partiellement les conclusions de la demande déposée le 3 novembre 2006 par les époux A._ à l'encontre des époux B._, de C._ et des époux D._; II. ordonne à C._, propriétaire de l'immeuble n° 1882 sur la Commune de X._, de cesser avec effet immédiat de parquer son véhicule ou de laisser des tiers parquer leur véhicule ou de laisser tout autre objet sur l'assiette de la servitude RF n° xxx'xxx sous les peines de droit prévues à l'art. 292 du Code pénal suisse qui stipule (...); III. ordonne aux époux D._, propriétaires de l'immeuble n° 1883 sur la Commune de X._, de cesser avec effet immédiat de parquer leur véhicule ou de laisser des tiers parquer leur véhicule ou de laisser tout autre objet à l'angle nord-ouest de leur bien-fonds afin de permettre l'exercice de la servitude RF n° xxx'xxx par les propriétaires du fonds dominant, sous les peines de droit prévues à l'art. 292 du Code pénal suisse; IV. dit que les époux B._, les époux D._ et C._, conjointement et solidairement entre eux, sont reconnus débiteurs des époux A._ et leur doivent prompt paiement de 9'838 fr. 30 avec intérêts à 5% l'an dès le 21 août 2007; V. arrête les frais de la cause à 10'213 fr. 80 à la charge des époux A._ et à 8'783 fr. 80 à la charge des époux B._, de C._ et des époux D._, solidairement entre eux; VI. (...); VII. dit que les époux B._, C._ et les époux D._ sont les débiteurs des époux A._ de la somme de 12'809 fr. 20, TVA en sus sur 6'000 fr., à titre de dépens réduits, à savoir 6'809 fr. 20 en remboursement partiel de leurs frais de justice et 6'000 fr., TVA en sus, à titre de participation aux honoraires et débours de leur conseil; VIII. (...); IX. (...). S'agissant de la répartition des frais de l'expertise privée et des dépens, le tribunal a estimé que, si les demandeurs n'avaient pas obtenu gain de cause sur les conclusions pour lesquelles ils avaient mandaté un expert à titre privé, celui-ci avait néanmoins révélé des empiètements sur la servitude litigieuse, ce qui justifiait que les défendeurs assument les deux tiers des frais de l'expertise privée; relevant que les demandeurs obtenaient partiellement gain de cause, le tribunal a condamné les défendeurs à leur verser des dépens réduits. B.b Les époux B._, les époux D._ ainsi que C._ ont interjeté un appel contre ce jugement devant la Cour d'appel civile du Tribunal cantonal vaudois. Cette autorité a admis l'appel, réformant les chiffres IV et VI [recte: VII] du dispositif du jugement attaqué, en ce sens que le chiffre IV est supprimé et que le chiffre VII dit que les époux A._, solidairement entre eux, doivent payer aux époux B._, à C._ et aux époux D._ la somme de 9'370 fr. 75 à titre de dépens réduits. La cour a confirmé le jugement attaqué au surplus, étant précisé que les chiffres VI et VIII de son dispositif étaient sans objet. C. Par acte du 18 mai 2012, les époux A._ interjettent un recours constitutionnel subsidiaire contre cet arrêt. Principalement, ils en demandent la réforme, en ce sens que, sous suite de frais et dépens, l'appel est rejeté et le dispositif du jugement du 6 juin est confirmé. Subsidiairement, ils concluent à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. En substance, ils se plaignent de la violation de l'art. 9 Cst. dans l'application de l'art. 92 de l'ancien Code de procédure civile vaudois du 14 décembre 1966 (ci-après: aCPC/VD). Des observations n'ont pas été requises.