Faits:
A. A.a Les époux A._ sont propriétaires, en propriété commune, de la parcelle no 33 du cadastre de E._. Ils ont acquis cette parcelle de la Fondation "X._" (ci-après la Fondation) par acte notarié du 17 mai 2004.
Le bien-fonds comprend notamment le château de E._ ainsi que trois jardins en terrasses, dont l'une, la troisième depuis le haut, fait l'objet de deux servitudes d'usage de jardin. Ces servitudes sont l'objet de la présente cause.
A.b A la fin des années nonante, la Fondation a décidé de vendre la parcelle no 40 de la commune de E._, contiguë à la parcelle no 33. La parcelle no 40 a été morcelée en vue d'une promotion immobilière en plusieurs lots de propriété par étages (PPE) portant les nos 617 ss au registre foncier.
Simultanément à la constitution de la PPE, les promoteurs et la Fondation ont veillé à ce que chaque lot puisse bénéficier d'un espace vert. En tant que la parcelle no 40 ne disposait pas des surfaces nécessaires pour tous les lots, la parcelle no 33 a été grevée, en sa faveur, de deux servitudes d'usage de jardin distinctes.
Lors de la constitution de la PPE, le 8 mars 1999, ces deux servitudes ont été reportées respectivement sur les lots de PPE nos 621 (recte: 622) et 623, l'ancienne parcelle no 40 en étant libérée.
Les deux servitudes s'exercent sur une assiette distincte. Selon l'inscription au registre foncier de F._ (recte: l'acte constitutif de servitude; cf. consid. 4.4 infra), leur contenu, identique, est décrit comme suit:
"La présente servitude confère au propriétaire du fonds dominant un droit d'usage et de jouissance exclusifs du terrain compris dans son assiette.
Le fonds dominant aménage et entretient à ses frais exclusifs l'espace sur lequel s'exerce la servitude constituée en sa faveur.
Le fonds dominant devra en outre respecter les règles suivantes quant à l'aménagement et l'entretien de l'espace dont il a l'usage et la jouissance exclusifs:
- le terrain sera en principe aménagé sous forme de jardin d'agrément;
- les dépôts, constructions et ouvrages de quelque nature que ce soit sont interdits, sauf accord contraire, préalable et exprès du propriétaire du fonds servant;
- le terrain peut être clôturé à la condition de ne pas entraver les accès aux ouvrages édifiés sur le fonds servant, les dispositions du code foncier et rural en la matière étant applicables par analogie;
- la cession du droit d'usage et de jouissance à des tiers extérieurs à la copropriété du fonds dominant est interdite;
L'exercice des autres servitudes auxquelles le fonds servant est intéressé est au surplus réservé."
A.c Le 29 août 2006, B._ a acheté le lot de PPE faisant l'objet du feuillet no 622. C._ et D._ ont acheté le lot de PPE no 623 le 14 juillet 2006.
A.d Auparavant, soit le 2 août 2005, la régie G._ a organisé une séance au nom de la PPE, à laquelle les époux A._, H._ (administrateur de la PPE) et I._ (architecte) ont participé.
Au cours de cette séance, divers aménagements ont été présentés aux époux A._, notamment celui des jardins se situant sur leur parcelle, objets des servitudes d'usage précitées. Un dallage partiel des surfaces, des amenées d'eau et d'électricité ainsi que la construction de deux cabanons étaient notamment envisagés.
Cette question a fait l'objet d'un échange de correspondances entre les époux A._ d'une part, H._ et I._ d'autre part. En substance, les époux A._ s'opposaient à l'installation des cabanons ou souhaitaient la soumettre à des conditions particulières, sous forme, par exemple, de redevances.
Par courrier du 19 septembre 2005, ils ont néanmoins autorisé H._ à procéder à la mise à l'enquête du projet, soulignant toutefois que leur accord ne permettait pas la réalisation concrète des objets, dit accord devant précisément intervenir dans le cadre de la conclusion d'un contrat relatif à l'autorisation d'un usage excédant les servitudes litigieuses.
Le 21 septembre 2005, un dossier d'enquête a été transmis aux époux A._ pour signature.
A.e Par la suite, les propriétaires des fonds dominants ont entrepris des travaux sur l'assiette des servitudes dont ils bénéficiaient à titre individuel. Ils ont ainsi commencé par faire enlever les blocs de béton qui supportaient des jeux d'enfants vétustes, par supprimer une marche à l'entrée du jardin et à faire abaisser le terrain à cet endroit, afin de permettre l'accès à la terrasse au moyen de chaises pour handicapés depuis leurs propriétés respectives. Une amenée d'eau et des câbles électriques ont également été aménagés. Un dallage partiel ainsi qu'un peu de gravier ont été posés sur la terrasse.
En revanche, aucun cabanon de jardin n'a été construit.
A.f Par fax adressé le 11 décembre 2006 à H._, A._ s'est opposé aux travaux réalisés, rappelant que leur mise en oeuvre nécessitait un accord de la part de son épouse et de lui-même.
Les parties ne sont pas parvenues à trouver un terrain d'entente.
B. B.a Les époux A._ ont ouvert action devant le Président du Tribunal civil de l'arrondissement de La Broye et du Nord Vaudois (ci-après tribunal d'arrondissement) le 30 novembre 2007, concluant à ce qu'interdiction soit faite à B._ d'aménager de quelconques constructions ou ouvrages (cabanons, dallages, canalisations, amenées d'électricité, etc.) sur la parcelle no 33 du cadastre de la Commune de E._ et à ce qu'il lui soit ordonné de supprimer les ouvrages d'ores et déjà aménagés, en particulier les dallages et câbles électriques, le tout sous la menace de la peine prévue à l'<ref-law> (I et III). Des conclusions identiques étaient prises à l'encontre de C._ et/ou D._ (II et IV).
B._, C._ et D._ ont conclu au rejet de l'action. En cours de procédure, ils ont par ailleurs déclaré renoncer à la construction des cabanons.
Par jugement du 11 juin 2010, le Président du tribunal d'arrondissement a partiellement admis l'action déposée par les époux A._. Il a ainsi interdit à B._, C._ et D._ l'aménagement, sans l'accord des demandeurs, de tous ouvrages ou constructions qui ne rentraient pas dans le cadre d'un jardin d'agrément (cabanon, grill pour "barbecue" fixé au sol, etc.) sur l'assiette des servitudes dont ils bénéficiaient respectivement. Les autres aménagements effectués, soit les dallages, gravier, amenées d'eau et d'électricité étaient autorisés sans l'accord des époux A._. Toutes autres ou plus amples conclusions étaient rejetées.
B.b Les époux A._ ont recouru devant la Chambre des recours du Tribunal cantonal vaudois, concluant à la réforme du jugement prononcé en ce sens qu'il est interdit à B._, C._ et D._ d'aménager, sans leur accord, de quelconques constructions ou ouvrages (cabanons, dallages, canalisations, amenées d'électricité, etc.), sur l'assiette de leur servitude respective. Dans les motifs de leur recours, les époux A._ ont indiqué que, dans la mesure où l'arrêt à intervenir reconnaîtrait la nécessité de leur accord préalable à tout aménagement, ils renonçaient à réclamer la suppression des travaux déjà effectués, soit les dallages, câblages électriques et amenées d'eau.
La Chambre des recours a rejeté le recours par arrêt du 12 octobre 2010, notifié aux parties le 23 mars 2011.
C. Le 9 mai 2011, les époux A._ (ci-après les recourants) exercent un recours en matière civile devant le Tribunal fédéral, reprenant les conclusions formulées devant la Chambre des recours. La suppression des travaux déjà réalisés n'était plus réclamée, les recourants admettant les avoir autorisés a posteriori.
Ils invoquent la violation de l'<ref-law>.
Les intimés concluent à l'irrecevabilité du recours, subsidiairement à son rejet.

Considérant en droit:
1. L'arrêt entrepris tranche une contestation de nature civile (<ref-law>), portant sur l'interprétation d'une servitude. Il s'agit d'une décision finale (<ref-law>), prise en dernière instance cantonale et sur recours par le tribunal supérieur du canton de Vaud (<ref-law>), dans une affaire pécuniaire dont la valeur litigieuse, fixée par la cour cantonale, est supérieure à 30'000 fr. (<ref-law>). Les recourants, qui ont succombé dans leurs conclusions devant l'instance précédente, ont qualité pour recourir (<ref-law>); ils ont en outre agi dans le délai légal (art. 100 al. 1 et art. 46 al. 1 let. a LTF), de sorte que le recours en matière civile est en principe recevable.
2. Il convient avant tout de qualifier l'action des recourants afin de déterminer sa recevabilité.
2. Il convient avant tout de qualifier l'action des recourants afin de déterminer sa recevabilité.
2.1 2.1.1 Le propriétaire d'un bien-fonds grevé d'une servitude peut exercer l'action négatoire à l'encontre du propriétaire du fonds dominant qui excéderait son droit et porterait ainsi une atteinte directe au fonds grevé. Aux termes de l'<ref-law>, le propriétaire d'une chose peut en effet repousser toute usurpation (action négatoire), à savoir tout trouble direct, illicite, actuel ou imminent, portant atteinte à la maîtrise de son droit (PAUL-HENRI STEINAUER, Les droits réels, t. I, 4e éd. 2007, n. 1032; ARTHUR MEIER-HAYOZ, Berner Kommentar, 5e éd. 1981, n. 99 ss ad <ref-law>). L'action négatoire peut certes aussi être introduite pour éviter qu'une atteinte, actuellement terminée, ne se reproduise (notamment: ROBERT HAAB, in Zürcher Kommentar, 2e éd. 1977, n. 40 ad <ref-law>; MEIER-HAYOZ, op. cit., n. 109 ad <ref-law>; HEINZ REY, Die Grundlagen des Sachenrechts und das Eigentum, 3e éd. 2007, n. 2046). Cette atteinte doit néanmoins être imminente (ainsi: ATF 42 II 434 consid. 1 "im Begriff sein" [être sur le point de]; 51 II 397 consid. 3 "bedrohen" [menacer]; STEINAUER, op. cit., n. 1039 dit "sur le point de se reproduire"; MEIER-HAYOZ, op. cit., n. 103 ad <ref-law> et WOLFGANG WIEGAND, in Basler Kommentar, ZGB II, 3e éd. 2007, n. 66 ad <ref-law> utilisent le terme "drohen").
2.1.2 Le propriétaire d'un fonds grevé d'une servitude peut aussi introduire une action en constatation de droit afin de faire établir le contenu de la servitude dont son bien-fonds est grevé (PETER LIVER, Zürcher Kommentar, 3e éd. 1980, n. 174 ad <ref-law>; PAUL PIOTET, Les droits réels limités en général, les servitudes et les charges foncières in: Traité de droit privé suisse, t. V/1/3, 1978, p. 73; Basler juristische Mitteilungen [BJM] 1995 129, 132).
2.2 Par leurs conclusions, les recourants réclament qu'il soit interdit aux intimés d'aménager, sans leur accord, "de quelconques constructions ou ouvrages (cabanons, dallages, canalisations, amenées d'électricité, etc.)" sur la troisième terrasse de la parcelle no 33 du cadastre de la Commune de E._ faisant l'objet des servitudes d'usage de jardin constituées en faveur des lots de PPE nos 622 et 623.
L'action a été qualifiée d'action en prévention et cessation de trouble par la cour cantonale.
Les recourants ont accordé leur autorisation rétroactive aux travaux déjà effectués, à savoir les dallages, câblages électriques et amenées d'eau. Force est donc d'admettre qu'ils ne subissent aucun trouble actuel. Les recourants n'allèguent pas non plus la perspective d'un trouble imminent, de sorte que l'action intentée ne peut être reçue en tant qu'action négatoire. En réalité, par leurs conclusions, les recourants tendent à faire établir le contenu de la servitude dont leur parcelle est grevée par une action en constatation de droit. L'intérêt à une telle constatation existe en tant que les intimés n'ont pas renoncé de manière inconditionnelle à des agréments supplémentaires: après avoir en effet affirmé ne plus en envisager aucun, ils ont néanmoins souligné que "s'il leur venait l'idée de mettre une platebande de fleurs et de l'encercler d'une petite protection en bois (...), il n'est pas envisageable qu'ils doivent solliciter l'accord des époux A._ (...)".
3. Les intimés concluent à l'irrecevabilité du recours en soutenant que les conclusions des recourants seraient nouvelles et, partant, irrecevables. Les recourants auraient en effet toujours formellement conclu à une interdiction générale de tout aménagement et à la suppression de ceux d'ores et déjà réalisés; dans leurs présentes écritures, ils avaient pourtant modifié leurs conclusions en sollicitant l'interdiction de tout aménagement qu'ils n'auraient pas préalablement autorisé.
Quoi que paraissent penser les intimés, les recourants ont présenté, en seconde instance cantonale, des chefs de conclusions identiques à ceux formulés devant la cour de céans. Il n'y a donc nullement conclusion nouvelle au sens de l'<ref-law>. Au demeurant, les parties sont admises à réduire leurs prétentions devant le Tribunal fédéral (arrêt 4A_317/2007 du 9 janvier 2008 consid. 4.2.1 non publié in <ref-ruling> et les références; 4D_103/2008 du 6 novembre 2008 consid. 2.2).
4. 4.1 La cour cantonale a relevé que le libellé de la servitude était amplement détaillé, mais qu'il ne contenait aucune précision quant au respect concret de la restriction litigieuse, à savoir l'interdiction des dépôts, constructions et ouvrages. Elle l'a ainsi interprété au regard de l'objectif poursuivi par la servitude, jugeant que tant l'acte constitutif, la réquisition d'inscription ou encore le critère tiré de l'exercice de la servitude ne permettaient pas d'en définir l'aspect litigieux. Observant que celle-ci obligeait les intimés à implanter un jardin d'agrément, la cour cantonale a retenu que les aménagements effectués ne faisaient que répondre à cette exigence, sans pour autant enfreindre la restriction qui leur était imposée. Une interprétation littérale de la servitude, soumettant tout aménagement à un accord préalable des recourants, conduisait au demeurant à la vider de toute utilité. Les juges cantonaux en ont par conséquent conclu que la restriction devait être interprétée en ce sens que les intimés pouvaient procéder à tout aménagement communément admissible dans un jardin d'agrément sans avoir à requérir au préalable l'autorisation des recourants. Un accord devait néanmoins être obtenu pour tout ouvrage ou construction qui n'appartiendrait pas à cette catégorie. Le jugement de première instance a ainsi été confirmé.
4.2 Les recourants opposent que le libellé de la servitude est parfaitement clair et qu'il n'existe aucune raison de s'écarter de son interprétation littérale: toute construction, ouvrage ou dépôt nécessiterait ainsi leur consentement préalable. L'interprétation de la servitude selon sa lettre permettrait en outre d'éviter les difficultés pratiques, liées en particulier à la détermination des aménagements communément admissibles dans un jardin d'agrément. Elle ne viderait par ailleurs nullement la servitude de son objet en tant que, même si les intimés devaient être empêchés d'aménager des constructions fixes au sol, la terrasse, vaste et bien orientée, permettrait aux enfants d'y jouer, aux adultes de s'y installer pour s'y reposer ou rencontrer des amis. D'un point de vue esthétique, les recourants soulignent enfin que tout aménagement sur l'une des terrasses du château porterait atteinte à l'ensemble architectural.
Les intimés soutiennent que les époux A._ agissent de manière abusive et contraire à l'esprit de la convention qui les contraint à implanter un jardin d'agrément. Ils soulignent également n'envisager aucun agrément supplémentaire, tout en laissant entendre qu'il n'est pas envisageable qu'ils sollicitent l'accord des propriétaires grevés pour le moindre petit aménagement ultérieur.
4.3 Aux termes de l'<ref-law>, l'inscription fait règle, en tant qu'elle désigne clairement les droits et les obligations dérivant de la servitude. L'étendue de celle-ci peut être précisée, dans les limites de l'inscription, soit par son origine, soit par la manière dont la servitude a été exercée pendant longtemps, paisiblement et de bonne foi (al. 2). Pour déterminer le contenu d'une servitude, il convient ainsi de procéder selon l'ordre des étapes prévu par l'<ref-law>: le juge doit dès lors se reporter en priorité à l'inscription au registre foncier, c'est-à-dire à l'inscription au feuillet du grand livre; ce n'est que si celle-ci est peu claire, incomplète ou sommaire, que la servitude doit être interprétée selon son origine, à savoir l'acte constitutif déposé comme pièce justificative au registre foncier (<ref-ruling> consid. 3.1; <ref-ruling> consid. 8; <ref-ruling> consid. 1; <ref-ruling> consid. 3.1; <ref-ruling> consid. 2a). Le contrat de servitude et le plan sur lequel est reportée l'assiette de la servitude constituent à cet égard des pièces justificatives (<ref-law>). Si le titre d'acquisition ne permet pas de déterminer le contenu de la servitude, l'étendue de celle-ci peut alors être précisée par la manière dont elle a été exercée paisiblement et de bonne foi (<ref-law>).
L'acte constitutif doit être interprété de la même manière que toute déclaration de volonté, à savoir, s'agissant d'un contrat, selon la réelle et commune intention des parties (<ref-law>), respectivement, pour le cas où celle-ci ne peut être établie, selon le principe de la confiance; toutefois, vis-à-vis des tiers qui n'étaient pas parties au contrat constitutif de la servitude, ces principes d'interprétation sont limités par la foi publique attachée au registre foncier (<ref-law>; <ref-ruling> consid. 3.2.2; <ref-ruling> consid. 3), lequel comprend non seulement le grand livre, mais aussi les pièces justificatives, dans la mesure où elles précisent la portée de l'inscription (<ref-law> repris par l'<ref-law>; cf. STEINAUER, op. cit., n. 934a; FABIENNE HOHL, Le contrôle de l'interprétation des servitudes par le Tribunal fédéral, Revue du notariat et du registre foncier [RNRF] 2009 73, 78). Ce dernier principe interdit de prendre en considération, dans la détermination de la volonté subjective, les circonstances et motifs personnels qui ont été déterminants dans la formation de la volonté des constituants; dans la mesure où ils ne résultent pas de l'acte constitutif, ils ne sont pas opposables au tiers qui s'est fondé de bonne foi sur le registre foncier (ATF <ref-ruling> consid. 3.1 et les réf. citées). Le résultat de l'interprétation objective devrait être ainsi le même que celui de l'interprétation subjective limitée par la foi publique (HOHL, op. cit., p. 80).
4.4 En l'espèce, le libellé de la servitude est inscrit au registre foncier sous le mot clé "usage de jardin", sans autre précision. Contrairement à ce qu'affirme la cour cantonale, l'inscription telle qu'elle résulte du registre foncier ne décrit pas les modalités d'exercice de la servitude. Celles-ci résultent en réalité des pièces justificatives nos 195'248 et 195'249 (<ref-law>), qui, sous la rubrique "exercice", précisent ce qui suit:
"(...) Le fonds dominant devra en outre respecter les règles suivantes quant à l'aménagement et l'entretien de l'espace dont il a l'usage et la jouissance exclusifs:
- le terrain sera en principe aménagé sous forme de jardin d'agrément;
- les dépôts, constructions et ouvrages de quelque nature que ce soit sont interdits, sauf accord contraire, préalable et exprès, du propriétaire du fonds servant (...)".
Ni les recourants, ni les intimés n'étaient parties au contrat constitutif de servitude. Il s'ensuit qu'il convient de se référer aux pièces justificatives telles que les parties pouvaient les comprendre, de bonne foi, lors de l'acquisition de leurs biens-fonds respectifs. Or, dites pièces justificatives décrivent la restriction litigieuse de manière particulièrement précise: "les dépôts, constructions et ouvrages de quelque nature que ce soit sont interdits". Non seulement les termes constructions et ouvrages, désignent une palette d'objets particulièrement large, mais cette latitude est encore renforcée par l'expression "de quelque nature que ce soit". Il faut dès lors en conclure, de manière objective, que la restriction litigieuse vise à interdire, sauf accord préalable et exprès du propriétaire grevé, tout ouvrage ou construction, et ce sans exception aucune. La référence à la fonction de "jardin d'agrément", objectif certes recherché par la servitude, n'autorisait nullement les juges cantonaux à élargir les droits des propriétaires au bénéfice de la servitude: une terrasse, simplement recouverte de gazon, permet en effet parfaitement de servir un tel usage.
De surcroît, comme le relèvent à juste titre les recourants, l'interprétation effectuée par la cour cantonale entraînerait à son tour de nouvelles difficultés d'interprétation dans la détermination des "aménagements communément admissibles dans un jardin d'agrément".
5. En définitive, le recours doit être admis, l'arrêt attaqué annulé et réformé en ce sens qu'il est constaté que les intimés ne peuvent aménager, sans l'accord des recourants, aucun ouvrage ou construction sur le terrain compris dans l'assiette de la servitude dont leur parcelle bénéficie à charge de celle des recourants. Les frais sont mis à la charge des intimés solidairement (<ref-law>); les dépens sont mis pour moitié à la charge de B._ (art. 68 al. 1 et 2 LTF) ainsi que pour moitié et solidairement à la charge de C._ et D._ (art. 68 al. 1 et 2 LTF). Il appartiendra à l'autorité cantonale de statuer à nouveau sur les frais et dépens de la procédure cantonale (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et réformé en ce sens que:
- il est constaté que B._ ne peut aménager, sans l'accord des recourants, aucune construction ou ouvrage sur la troisième terrasse de la parcelle no 33 du cadastre de la Commune de E._ faisant l'objet de la servitude d'usage de jardin no 195'248 constituée en faveur du lot de PPE no 622 du cadastre communal;
- il est constaté que C._ et D._ ne peuvent aménager, sans l'accord des demandeurs, aucune construction ou ouvrage sur la troisième terrasse de la parcelle no 33 du cadastre de la Commune de E._ faisant l'objet de la servitude d'usage de jardin no 195'249 constituée en faveur du lot de PPE no 623 du cadastre communal;
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis solidairement à la charge des intimés.
3. Une indemnité de 1'500 fr., à payer aux recourants à titre de dépens, est mise à la charge de B._.
4. Une indemnité de 1'500 fr., à payer aux recourants à titre de dépens, est mise à la charge de C._ et D._, solidairement entre eux.
5. La cause est renvoyée à l'autorité cantonale pour nouvelle décision sur les frais et dépens des instances cantonales.
6. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 14 novembre 2011
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: de Poret Bortolaso