Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. 1.1 L'arrêt entrepris tranche une contestation civile portant sur des droits de nature pécuniaire, au sens de l'art. 46 OJ (cf. <ref-ruling> consid. 1.2 non publié; <ref-ruling> consid. 1 non publié; <ref-ruling> consid. 1 non publié; <ref-ruling> consid. 1 non publié). Contrairement à ce que prescrivent les art. 51 al. 1 let. a et 55 al. 1 let. a OJ, ni l'arrêt attaqué, ni l'acte de recours n'indiquent que la valeur litigieuse exigée par l'art. 46 OJ est atteinte. Cela n'affecte toutefois pas la recevabilité du recours, car il peut être constaté d'emblée avec certitude, sur le vu de l'acte de recours et de l'arrêt entrepris, que la valeur litigieuse dépasse 8'000 fr. (<ref-ruling> consid. 1c/ee; <ref-ruling> consid. 1; <ref-ruling> consid. 1; <ref-ruling> consid. 2; <ref-ruling>; <ref-ruling>; <ref-ruling>; 79 III 172; <ref-ruling> consid. 2 in fine). En effet, s'agissant d'une servitude, lorsque seule est litigieuse son étendue ou la restriction apportée à son exercice, est déterminante la valeur de l'extension contestée ou l'intérêt à la suppression de l'atteinte (<ref-ruling> ss consid. 1a et 1c cc). En l'espèce, l'admission de l'action des époux X._ contraindrait les époux Y._ à démolir la construction érigée sur leur terrain, dont le coût a été estimé à 50'000 fr., auquel s'ajoutent les frais de remise en état. Il s'ensuit que le recours est recevable au regard de l'art. 46 OJ. Interjeté en temps utile (cf. art. 54 al. 1 OJ) contre une décision finale prise par le tribunal suprême du canton de Neuchâtel et qui ne peut pas être l'objet d'un recours ordinaire de droit cantonal (cf. art. 48 al. 1 OJ), il est également recevable au regard de ces dispositions.
1.2 Saisi d'un recours en réforme, le Tribunal fédéral doit conduire son raisonnement sur la base des faits contenus dans la décision attaquée, à moins que des dispositions fédérales en matière de preuve n'aient été violées, qu'il n'y ait lieu à rectification de constatations reposant sur une inadvertance manifeste (art. 63 al. 2 OJ) ou qu'il ne faille compléter les constatations de l'autorité cantonale parce que celle-ci n'a pas tenu compte de faits pertinents, régulièrement allégués et clairement établis (art. 64 OJ; <ref-ruling> consid. 2.2; <ref-ruling> consid. 2c; <ref-ruling> consid. 2a; <ref-ruling> consid. 5c/aa). Dans la mesure où un recourant présente un état de fait qui s'écarte de celui contenu dans l'arrêt attaqué sans se prévaloir avec précision de l'une des exceptions qui viennent d'être rappelées, il n'est pas possible d'en tenir compte (ATF <ref-ruling> consid. 2c; <ref-ruling> consid. 2.2, 136 consid. 1.4). Au surplus, il ne peut être présenté dans un recours en réforme de griefs contre les constatations de fait, ni de faits ou de moyens de preuve nouveaux (art. 55 al. 1 let. c OJ).
1.2 Saisi d'un recours en réforme, le Tribunal fédéral doit conduire son raisonnement sur la base des faits contenus dans la décision attaquée, à moins que des dispositions fédérales en matière de preuve n'aient été violées, qu'il n'y ait lieu à rectification de constatations reposant sur une inadvertance manifeste (art. 63 al. 2 OJ) ou qu'il ne faille compléter les constatations de l'autorité cantonale parce que celle-ci n'a pas tenu compte de faits pertinents, régulièrement allégués et clairement établis (art. 64 OJ; <ref-ruling> consid. 2.2; <ref-ruling> consid. 2c; <ref-ruling> consid. 2a; <ref-ruling> consid. 5c/aa). Dans la mesure où un recourant présente un état de fait qui s'écarte de celui contenu dans l'arrêt attaqué sans se prévaloir avec précision de l'une des exceptions qui viennent d'être rappelées, il n'est pas possible d'en tenir compte (ATF <ref-ruling> consid. 2c; <ref-ruling> consid. 2.2, 136 consid. 1.4). Au surplus, il ne peut être présenté dans un recours en réforme de griefs contre les constatations de fait, ni de faits ou de moyens de preuve nouveaux (art. 55 al. 1 let. c OJ).
2. Examinant si la construction litigieuse violait la servitude de non-bâtir, la cour cantonale a constaté que le bien-fonds des défendeurs est de forme carrée et que ses angles sont situés aux quatre points cardinaux. De ce fait, elle a considéré qu'une interdiction de bâtir à une distance inférieure à six ou dix mètres des limites ouest et sud, qui étaient en réalité des angles, n'avait pas de sens et que, par conséquent, il n'y avait pas violation de la servitude. Cette conclusion s'imposait d'autant plus qu'en vertu d'un usage local selon lequel le nord n'est pas considéré en fonction du pôle magnétique mais selon l'axe de la vallée, supposé d'est en ouest, la construction litigieuse se trouvait en réalité au nord-ouest du fonds des défendeurs. Par ailleurs, ils ont estimé que l'inscription figurant au registre foncier ne permettait pas de déterminer à elle seule le contenu de la servitude en cause. Interprétant l'acte constitutif, ils ont considéré que l'expression "autre bâtiment qu'une maison familiale" n'a pas pour but de fixer le nombre précis des constructions qui peuvent y être érigées mais de restreindre l'usage du fonds servant à une occupation familiale normale. Dans la mesure où l'autorité cantonale a retenu que l'élevage de lapins domestiques et de pigeons restait en rapport avec un usage familial, elle a jugé que la construction litigieuse était compatible avec la servitude.
2. Examinant si la construction litigieuse violait la servitude de non-bâtir, la cour cantonale a constaté que le bien-fonds des défendeurs est de forme carrée et que ses angles sont situés aux quatre points cardinaux. De ce fait, elle a considéré qu'une interdiction de bâtir à une distance inférieure à six ou dix mètres des limites ouest et sud, qui étaient en réalité des angles, n'avait pas de sens et que, par conséquent, il n'y avait pas violation de la servitude. Cette conclusion s'imposait d'autant plus qu'en vertu d'un usage local selon lequel le nord n'est pas considéré en fonction du pôle magnétique mais selon l'axe de la vallée, supposé d'est en ouest, la construction litigieuse se trouvait en réalité au nord-ouest du fonds des défendeurs. Par ailleurs, ils ont estimé que l'inscription figurant au registre foncier ne permettait pas de déterminer à elle seule le contenu de la servitude en cause. Interprétant l'acte constitutif, ils ont considéré que l'expression "autre bâtiment qu'une maison familiale" n'a pas pour but de fixer le nombre précis des constructions qui peuvent y être érigées mais de restreindre l'usage du fonds servant à une occupation familiale normale. Dans la mesure où l'autorité cantonale a retenu que l'élevage de lapins domestiques et de pigeons restait en rapport avec un usage familial, elle a jugé que la construction litigieuse était compatible avec la servitude.
3. Les recourants dénoncent une violation de l'<ref-law> en relation avec l'<ref-law>.
3.1 Aux termes de l'<ref-law>, l'inscription fait règle, en tant qu'elle désigne clairement les droits et les obligations dérivant de la servitude. Dans la mesure où l'inscription est peu claire, incomplète ou - ce qui est fréquent - sommaire, il est cependant nécessaire de recourir à d'autres éléments d'interprétation tels que son "origine", à savoir l'acte constitutif de la servitude (<ref-law>; <ref-ruling> consid. 3.1; <ref-ruling> consid. 2a; Paul-Henri Steinauer, Les droits réels, tome II, 2e éd., 1994, n. 2292). Ce dernier doit être interprété de la même manière que toute déclaration de volonté, à savoir, s'agissant d'un contrat, selon la réelle et commune intention des parties (<ref-law>), respectivement, pour le cas où celle-ci ne peut être établie, selon les règles de la bonne foi; toutefois, vis-à-vis de tiers qui n'étaient pas parties au contrat constitutif de la servitude, ces principes d'interprétation sont limités par la foi publique attachée au registre foncier (<ref-law>); celle-ci interdit de prendre en considération les circonstances et motifs personnels qui ont été déterminants dans la formation de la volonté personnelle des constituants mais qui, dans la mesure où ils ne résultent pas de l'acte constitutif, ne sont pas opposables au tiers qui s'est fondé de bonne foi sur le registre foncier (<ref-ruling> consid. 3.1 et les références citées). C'est dans ce sens qu'il a pu être dit, de manière quelque peu simplifiée, que vis-à-vis d'un tiers, le contrat constitutif de servitude doit être interprété conformément au principe de la confiance, soit dans le sens où il peut être compris, selon les règles de la bonne foi, par une personne attentive raisonnant objectivement (<ref-ruling> consid. 3.1; cf. <ref-ruling> consid. 2). Une telle interprétation selon le principe de la confiance est une question de droit que le Tribunal fédéral, saisi d'un recours en réforme, peut examiner librement (<ref-ruling> consid. 2.5, 702 consid. 2.4 et les arrêts cités).
3.2 Dans un premier grief, les demandeurs reprochent à la cour cantonale de n'avoir pas examiné le sens de la servitude litigieuse au moment de sa constitution eu égard à la configuration des parcelles à cette époque. Selon eux, la juridiction cantonale aurait dû rechercher l'emplacement des articles nos uuuu et vvvv qui correspondaient en 1951 aux fonds dominants. Ils prétendent que ces biens-fonds se trouvaient à l'ouest et au sud de la parcelle bénéficiaire de la servitude. En revanche, en interprétant la servitude selon l'usage local, la cour cantonale a obtenu un résultat illogique, qui prive de sens la servitude. En outre, selon les demandeurs, l'existence de cet usage local en 1951 n'est pas établi.
Cette argumentation se révèle entièrement irrecevable dans la mesure où elle consiste à contester l'état de fait retenu souverainement par la cour cantonale ou à s'en écarter, ce qui est inadmissible dans le cadre d'un recours en réforme (cf. consid. 1.2 supra). A cet égard, l'art. 64 OJ auquel se réfèrent les demandeurs ne leur est d'aucun secours, dès lors que l'état de fait qu'ils allèguent n'a pas été présenté en instance cantonale.
3.3 Dans un second grief, les demandeurs font valoir qu'en estimant que la construction litigieuse était compatible avec l'interdiction de bâtir d'"autre bâtiment qu'une maison familiale", les juges cantonaux ont violé le droit fédéral, en particulier les <ref-law> et 730 CC. Ils ne contestent pas l'interprétation selon laquelle cette expression a pour but de restreindre l'usage du fonds servant à une occupation familiale normale et non de limiter le nombre précis des constructions. Ils estiment cependant que l'élevage de lapins et de pigeons n'entre pas dans le cadre d'un usage familial normal en raison des dimensions du bâtiment projeté et des nuisances inhérentes à ces activités.
En l'espèce, l'autorité cantonale a estimé que l'inscription figurant au registre foncier ne permettait pas de déterminer à elle seule le contenu de la servitude. Au vu de la description de la servitude dans l'acte constitutif interprété selon le principe de la confiance, elle a considéré que l'expression utilisée avait pour but de restreindre l'usage du fonds servant à une occupation familiale normale et non de limiter le nombre précis des constructions. L'emprise au sol d'un bâtiment peut en effet être supérieure à celle de plusieurs bâtiments de plus petites dimensions. Examinant si la construction litigieuse était admissible au regard de cette interprétation, elle en a conclu que les défendeurs, de même qu'ils auraient eu le droit d'agrandir leur garage pour y abriter des véhicules ou tout animal toléré par la réglementation de police, avaient le droit de construire à côté de ce garage une baraque, dès lors que celle-ci restait en rapport avec un usage familial.
Pour autant qu'elle soit suffisamment motivée (art. 55 OJ), l'argumentation des recourants ne peut être suivie. Ils se contentent d'exposer leur propre interprétation, sans démontrer en quoi celle de l'autorité cantonale violerait le droit fédéral. Or, l'appréciation de la cour cantonale apparaît conforme à l'<ref-law>. Un garage et une cabane de jardin apparaissent de nos jours des accessoires usuels d'une maison familiale et sont ainsi compatibles avec la servitude en question. Les recourants n'auraient ainsi pas pu s'opposer à de telles constructions en se fondant sur dite servitude. Il en va de même de la construction litigieuse, dès lors que celle-ci forme un bâtiment unique englobant le garage, les cabanons et une partie du local à outils. En admettant que la construction litigieuse rentrait dans le cadre d'un usage familial normal, l'autorité cantonale n'a pas défini le contenu de la servitude plus largement que son libellé.
Cela entraîne le rejet de ce moyen, dans la mesure où il est recevable.
Cela entraîne le rejet de ce moyen, dans la mesure où il est recevable.
4. Vu ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité. Les frais de la présente cause seront supportés par les recourants, solidairement entre eux (art. 156 al. 1 et 7 OJ). Il n'y a en revanche pas lieu d'allouer de dépens dès lors que les demandeurs n'ont pas été invités à répondre au recours.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
1. Le recours est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge des recourants.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge des recourants.
3. Le présent arrêt est communiqué en copie aux mandataires des parties et à la Cour de cassation civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 15 janvier 2007
Le président: La greffière: