Faits: A. A.a Les époux A._ sont propriétaires, en propriété commune, de la parcelle no 33 du cadastre de E._. Ils ont acquis cette parcelle de la Fondation "X._" (ci-après la Fondation) par acte notarié du 17 mai 2004. Le bien-fonds comprend notamment le château de E._ ainsi que trois jardins en terrasses, dont l'une, la troisième depuis le haut, fait l'objet de deux servitudes d'usage de jardin. Ces servitudes sont l'objet de la présente cause. A.b A la fin des années nonante, la Fondation a décidé de vendre la parcelle no 40 de la commune de E._, contiguë à la parcelle no 33. La parcelle no 40 a été morcelée en vue d'une promotion immobilière en plusieurs lots de propriété par étages (PPE) portant les nos 617 ss au registre foncier. Simultanément à la constitution de la PPE, les promoteurs et la Fondation ont veillé à ce que chaque lot puisse bénéficier d'un espace vert. En tant que la parcelle no 40 ne disposait pas des surfaces nécessaires pour tous les lots, la parcelle no 33 a été grevée, en sa faveur, de deux servitudes d'usage de jardin distinctes. Lors de la constitution de la PPE, le 8 mars 1999, ces deux servitudes ont été reportées respectivement sur les lots de PPE nos 621 (recte: 622) et 623, l'ancienne parcelle no 40 en étant libérée. Les deux servitudes s'exercent sur une assiette distincte. Selon l'inscription au registre foncier de F._ (recte: l'acte constitutif de servitude; cf. consid. 4.4 infra), leur contenu, identique, est décrit comme suit: "La présente servitude confère au propriétaire du fonds dominant un droit d'usage et de jouissance exclusifs du terrain compris dans son assiette. Le fonds dominant aménage et entretient à ses frais exclusifs l'espace sur lequel s'exerce la servitude constituée en sa faveur. Le fonds dominant devra en outre respecter les règles suivantes quant à l'aménagement et l'entretien de l'espace dont il a l'usage et la jouissance exclusifs: - le terrain sera en principe aménagé sous forme de jardin d'agrément; - les dépôts, constructions et ouvrages de quelque nature que ce soit sont interdits, sauf accord contraire, préalable et exprès du propriétaire du fonds servant; - le terrain peut être clôturé à la condition de ne pas entraver les accès aux ouvrages édifiés sur le fonds servant, les dispositions du code foncier et rural en la matière étant applicables par analogie; - la cession du droit d'usage et de jouissance à des tiers extérieurs à la copropriété du fonds dominant est interdite; L'exercice des autres servitudes auxquelles le fonds servant est intéressé est au surplus réservé." A.c Le 29 août 2006, B._ a acheté le lot de PPE faisant l'objet du feuillet no 622. C._ et D._ ont acheté le lot de PPE no 623 le 14 juillet 2006. A.d Auparavant, soit le 2 août 2005, la régie G._ a organisé une séance au nom de la PPE, à laquelle les époux A._, H._ (administrateur de la PPE) et I._ (architecte) ont participé. Au cours de cette séance, divers aménagements ont été présentés aux époux A._, notamment celui des jardins se situant sur leur parcelle, objets des servitudes d'usage précitées. Un dallage partiel des surfaces, des amenées d'eau et d'électricité ainsi que la construction de deux cabanons étaient notamment envisagés. Cette question a fait l'objet d'un échange de correspondances entre les époux A._ d'une part, H._ et I._ d'autre part. En substance, les époux A._ s'opposaient à l'installation des cabanons ou souhaitaient la soumettre à des conditions particulières, sous forme, par exemple, de redevances. Par courrier du 19 septembre 2005, ils ont néanmoins autorisé H._ à procéder à la mise à l'enquête du projet, soulignant toutefois que leur accord ne permettait pas la réalisation concrète des objets, dit accord devant précisément intervenir dans le cadre de la conclusion d'un contrat relatif à l'autorisation d'un usage excédant les servitudes litigieuses. Le 21 septembre 2005, un dossier d'enquête a été transmis aux époux A._ pour signature. A.e Par la suite, les propriétaires des fonds dominants ont entrepris des travaux sur l'assiette des servitudes dont ils bénéficiaient à titre individuel. Ils ont ainsi commencé par faire enlever les blocs de béton qui supportaient des jeux d'enfants vétustes, par supprimer une marche à l'entrée du jardin et à faire abaisser le terrain à cet endroit, afin de permettre l'accès à la terrasse au moyen de chaises pour handicapés depuis leurs propriétés respectives. Une amenée d'eau et des câbles électriques ont également été aménagés. Un dallage partiel ainsi qu'un peu de gravier ont été posés sur la terrasse. En revanche, aucun cabanon de jardin n'a été construit. A.f Par fax adressé le 11 décembre 2006 à H._, A._ s'est opposé aux travaux réalisés, rappelant que leur mise en oeuvre nécessitait un accord de la part de son épouse et de lui-même. Les parties ne sont pas parvenues à trouver un terrain d'entente. B. B.a Les époux A._ ont ouvert action devant le Président du Tribunal civil de l'arrondissement de La Broye et du Nord Vaudois (ci-après tribunal d'arrondissement) le 30 novembre 2007, concluant à ce qu'interdiction soit faite à B._ d'aménager de quelconques constructions ou ouvrages (cabanons, dallages, canalisations, amenées d'électricité, etc.) sur la parcelle no 33 du cadastre de la Commune de E._ et à ce qu'il lui soit ordonné de supprimer les ouvrages d'ores et déjà aménagés, en particulier les dallages et câbles électriques, le tout sous la menace de la peine prévue à l'art. 292 CP (I et III). Des conclusions identiques étaient prises à l'encontre de C._ et/ou D._ (II et IV). B._, C._ et D._ ont conclu au rejet de l'action. En cours de procédure, ils ont par ailleurs déclaré renoncer à la construction des cabanons. Par jugement du 11 juin 2010, le Président du tribunal d'arrondissement a partiellement admis l'action déposée par les époux A._. Il a ainsi interdit à B._, C._ et D._ l'aménagement, sans l'accord des demandeurs, de tous ouvrages ou constructions qui ne rentraient pas dans le cadre d'un jardin d'agrément (cabanon, grill pour "barbecue" fixé au sol, etc.) sur l'assiette des servitudes dont ils bénéficiaient respectivement. Les autres aménagements effectués, soit les dallages, gravier, amenées d'eau et d'électricité étaient autorisés sans l'accord des époux A._. Toutes autres ou plus amples conclusions étaient rejetées. B.b Les époux A._ ont recouru devant la Chambre des recours du Tribunal cantonal vaudois, concluant à la réforme du jugement prononcé en ce sens qu'il est interdit à B._, C._ et D._ d'aménager, sans leur accord, de quelconques constructions ou ouvrages (cabanons, dallages, canalisations, amenées d'électricité, etc.), sur l'assiette de leur servitude respective. Dans les motifs de leur recours, les époux A._ ont indiqué que, dans la mesure où l'arrêt à intervenir reconnaîtrait la nécessité de leur accord préalable à tout aménagement, ils renonçaient à réclamer la suppression des travaux déjà effectués, soit les dallages, câblages électriques et amenées d'eau. La Chambre des recours a rejeté le recours par arrêt du 12 octobre 2010, notifié aux parties le 23 mars 2011. C. Le 9 mai 2011, les époux A._ (ci-après les recourants) exercent un recours en matière civile devant le Tribunal fédéral, reprenant les conclusions formulées devant la Chambre des recours. La suppression des travaux déjà réalisés n'était plus réclamée, les recourants admettant les avoir autorisés a posteriori. Ils invoquent la violation de l'art. 738 CC. Les intimés concluent à l'irrecevabilité du recours, subsidiairement à son rejet.