Faits: A. A.a Dame A._ et E._ étaient copropriétaires, à raison de la moitié chacun, de la parcelle no 3107 sise sur la commune de F._, au lieu dit "...". Le restaurant H._ loue le bâtiment érigé sur cet immeuble. La parcelle no 3107 est contiguë à la parcelle no 1. Cette dernière, alors propriété de G._, faisait l'objet, avec le bien-fonds no 4, d'un projet de construction d'un immeuble commercial et d'habitation, baptisé "..." et conçu par le bureau d'architecture C._. A.b Par acte de radiation et constitution de servitudes du 31 août 1994, dame A._ et E._ ont accepté de grever leur immeuble d'une servitude d'empiètement en faveur de la parcelle no 1, ce afin de permettre la construction d'une dalle de toiture d'une hauteur maximale de 4 m 20, à adosser au bâtiment existant sur la parcelle no 3107. L'assiette de la servitude était dessinée en jaune sur un plan annexé, signé par les parties. Il était précisé dans l'acte que les propriétaires de la parcelle no 3107 se réservaient la possibilité d'utiliser la surface dont ils étaient propriétaires sur la terrasse à aménager et d'ouvrir des portes d'accès au niveau du premier étage de l'immeuble situé sur leur parcelle. Cet usage était toutefois limité à une portion de la dalle définie en bleu sur le plan. Le but de la servitude d'empiètement était de permettre de couvrir le passage devant les vitrines de l'immeuble à construire sur la parcelle no 1, tandis que la réserve d'utilisation de la terrasse en faveur du fonds servant devait assurer une issue en cas d'incendie et permettre ainsi l'évacuation des clients du restaurant H._. La servitude d'empiètement a été dûment inscrite au registre foncier. Le 25 octobre 1994, C._ a acquis la parcelle no 1. A.c Début 1996, le bureau C._ a soumis à E._ les plans de l'ouvrage objet de la servitude d'empiètement. E._ a répondu au promoteur qu'il était libre d'aménager la terrasse comme il l'entendait et à ses propres frais. A.d En 1998, A._, époux de dame A._, a acquis la part de copropriété de E._ sur l'immeuble no 3107. Le 8 juin 2000, C._ a fait part à A._ de son intention de couvrir l'espace entre les deux immeubles par une marquise en verre translucide. Il a mis à l'enquête publique la construction du bâtiment sis sur les parcelles no 1 et 4 le 10 mai 2002. Les époux A._ n'ont pas formé opposition. Le 24 septembre 2003, le plan de la marquise et de la couverture du passage situé entre les deux bâtiments a été soumis à A._ pour signature. Celui-ci a refusé de le signer, observant que le projet ne correspondait pas à l'acte passé le 31 août 1994. Les travaux ont néanmoins débuté. C._ a construit la marquise projetée sur toute la longueur de la servitude d'empiètement. Cet ouvrage n'était toutefois pas conçu pour servir de terrasse depuis le premier étage de l'immeuble érigé sur la parcelle no 3107. De son propre chef, C._ a alors installé une passerelle, destinée à permettre, en cas d'incendie, une issue depuis le premier étage de H._ sur la terrasse de l'immeuble "...". Le 21 janvier 2004, A._ s'est plaint de la construction de ladite passerelle, sommant le bureau C._ de supprimer cet ouvrage et de remettre la façade en état. Il rappelait également son refus du projet de marquise tel qu'érigé par le bureau d'architecture. Ce dernier lui a répondu qu'il acceptait d'enlever la passerelle si besoin était, lui signalant toutefois que la marquise était conforme à l'acte de servitude signé le 31 août 1994. A.e Par acte du 10 décembre 2003, C._ a cédé l'immeuble no 1 à D._. Une fois la construction de l'immeuble "..." achevée, la commune de F._ a enjoint à H._ de se mettre en conformité avec les normes de sécurité et de défense incendie en exécutant une sortie de secours au premier étage. Par l'intermédiaire de leur mandataire, les époux A._ ont alors exigé la démolition de la marquise et de la passerelle, demandant leur remplacement par la construction d'une dalle résistante, pouvant servir de terrasse et correspondant à la surface dessinée en bleu sur le plan accompagnant l'acte constitutif. Les parties ne sont toutefois pas parvenues à un accord. B. B.a Le 10 février 2005, les époux A._ ont cité D._ en conciliation devant le juge de commune de F._. Le 2 mars 2005, D._ a délivré un acte de non-conciliation conventionnel. B.b Par mémoire-demande du 16 juin 2005, les époux A._ ont ouvert action devant le juge de district de F._ contre D._, devenue ultérieurement B._. Les demandeurs concluaient à ce qu'ordre soit donné à cette dernière d'entreprendre les travaux nécessaires leur permettant d'aménager la terrasse prévue sur les plans annexés à la convention du 31 août 1994, subsidiairement, en cas de non-exécution, de charger une entreprise tierce d'effectuer ces travaux, aux frais de la défenderesse. C._ est intervenu en cause. A l'issue de l'instruction, les demandeurs ont précisé leurs conclusions, notamment en ce sens que les travaux soient exécutés conformément aux plans ressortant du rapport d'expertise établi par l'expert X._ et qu'ordre soit donné à B._ de procéder en conséquence à la modification de la servitude au registre foncier de F._. Un délai de six mois dès l'entrée en force du jugement devait en outre être imparti au défendeur pour réaliser les travaux, celui-ci devant, à défaut, s'acquitter en leurs mains d'un montant de 45'000 fr. avec intérêts à 5% dès le 5 février 2005. B._, de même que C._, ont conclu au rejet de la demande. La cause a été transmise au Tribunal cantonal du canton du Valais, lequel a rejeté la demande par jugement du 25 février 2010. C. Par acte du 26 mars 2010, les époux A._ (ci-après les recourants) interjettent un recours en matière civile au Tribunal fédéral, reprenant les conclusions présentées en instance cantonale. A l'appui de celles-ci, ils invoquent la violation des art. 2, 674 et 730 ss CC, plus particulièrement des art. 738 et 741 CC. Invités à se déterminer, B._ et C._ ont conclu au rejet du recours. La cour cantonale s'est référée aux considérants de sa décision.