Faits: A. A.a A._, exploitant viticole, et B._, vinificateur et commerçant, sont copropriétaires de la parcelle n° 909 du registre foncier de la commune de X._. Ce bien-fonds est principalement cultivé en vigne. Une ancienne habitation avec rural, n° ECA xxx, occupant 59 m2 au sol y est implantée. Les propriétaires ont vainement tenté de réhabiliter cette bâtisse mais aucun des projets mis à l'enquête n'a pu être autorisé à ce jour. A.b C._ et D._ sont copropriétaires de la parcelle voisine n° 908 du registre foncier de la commune de X._. Le bâtiment n° ECA xxx est situé en limite de cette parcelle. B. Par demande du 19 octobre 2010, C._ et D._ ont requis qu'ordre soit donné à A._ et B._, sous la menace de la peine d'amende prévue par l'art. 292 CP, de démolir le bâtiment n° ECA xxx, subsidiairement, de prendre toutes les mesures propres à exclure tout risque d'éboulement, d'effondrement et de chute de tuiles ou d'autres matériaux provenant dudit bâtiment sur la parcelle n° 908, dans un délai de trois mois dès jugement définitif et exécutoire. Fondant leur demande sur l'art. 679 CC, ils allèguent l'état de délabrement avancé du bâtiment et le danger que cela représente pour leur propre bâtiment situé en contrebas ainsi que pour les personnes susceptibles d'emprunter le chemin passant à proximité. C. C.a Le 26 mai 2011, les demandeurs ont requis, à titre de mesures provisionnelles, qu'ordre soit donné à A._ et B._, sous la menace de la peine d'amende prévue par l'art. 292 CP, de démonter la toiture du bâtiment n° ECA xxx, de démolir la moitié ouest du dernier niveau dudit bâtiment, de stabiliser l'ouvrage et de le protéger des intempéries dans un délai à dire de justice. Par ordonnance du 5 septembre 2011, la présidente du Tribunal civil de l'Est vaudois a partiellement admis la requête en ce sens qu'elle a ordonné à A._ et B._, sous la menace de la peine d'amende prévue par l'art. 292 CP, de démonter la toiture du bâtiment en cause d'ici le 15 décembre 2011 et de stabiliser celui-ci et de le protéger des intempéries dans le même délai. C.b Par acte du 11 octobre 2011, A._ et B._ ont appelé de cette décision auprès du Tribunal cantonal du canton de Vaud. Ils ont requis que l'effet suspensif soit octroyé au recours. Par décision du 13 octobre 2011, le Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud a rejeté cette requête. D. Le 8 novembre 2011, A._ et B._ interjettent un recours constitutionnel au Tribunal fédéral contre cette décision, concluant à ce que l'effet suspensif soit accordé à l'appel qu'ils ont formé devant le Tribunal cantonal du canton de Vaud. Ils requièrent également l'octroi de l'effet suspensif pour la procédure fédérale. Suite à la détermination des intimés, qui ont conclu au rejet de cette requête, l'effet suspensif a été attribué au recours par ordonnance du 29 novembre 2011. Invités à se déterminer sur le fond, les intimés ont, par courrier du 15 mars 2012, renvoyé à leurs observations du 25 novembre 2011 relatives à la requête d'effet suspensif, dans lesquelles ils avaient d'ores et déjà conclu à l'irrecevabilité du recours. L'autorité cantonale s'est référée aux considérants de son arrêt.