Faits: A. A.a Le 1er février 2001, les époux A._ ont acquis en copropriété la parcelle no 57 de la Commune de C._, sur laquelle est érigé le bâtiment ECA no 62. B._ est propriétaire de la parcelle no 58, située dans la même commune, sur laquelle se trouve le bâtiment ECA no 255. A.b Le plan cadastral, numérisé en 1998, indique que le mur séparant les parcelles nos 57 et 58 est mitoyen sur toute sa longueur. Les époux A._ se sont fondés sur ce plan en acquérant leur bien-fonds. En 2002, le Département des finances et des relations extérieures du canton de Vaud a reconnu qu'il existait toutefois une divergence entre le plan numérisé et le plan original, en ce sens que, selon ce dernier, levé entre 1905 et 1906, le mur susmentionné était mitoyen sur une partie de sa longueur seulement, à savoir sur le premier segment situé à l'est des bâtiments, le reste du mur se situant exclusivement sur la parcelle no 58, propriété de B._. Selon les indications du géomètre E._, la ligne séparant les immeubles ne passe ainsi pas par le milieu du mur. Prenant acte de l'erreur survenue lors de la numérisation cadastrale, le registre foncier du district de Lavaux a procédé d'office - sans en informer les parties - à la correction du plan numérisé afin de le rendre conforme au plan initial, de sorte que le mur apparaît désormais comme étant partiellement mitoyen. B. Par demande du 23 avril 2009 déposée devant le Président du Tribunal d'arrondissement de l'Est vaudois, les époux A._ ont ouvert action contre B._, concluant à la rectification du registre foncier du district de Lavaux "en ce sens que le plan représentant le mur délimitant le bâtiment no ECA 62 de la parcelle no 57 de la Commune de C._ du bâtiment ECA no 255 de la parcelle no 58 de la Commune de C._ est représenté comme mitoyen sur toute sa longueur" (sic), le conservateur du registre foncier étant invité à procéder à cette rectification. Les demandeurs ont obtenu gain de cause en première instance. Statuant sur recours de B._, la Chambre des recours du tribunal cantonal vaudois l'a admis (ch. I) et réformé le jugement attaqué en ce sens que la demande de rectification du registre foncier est rejetée (ch. 2). L'arrêt, rendu le 16 février 2011, a été notifié aux parties le 25 mai 2011. C. Le 27 juin 2011, les époux A._ (ci-après les recourants) interjettent un recours en matière civile devant le Tribunal fédéral, concluant à la réforme de l'arrêt qu'ils attaquent en ce sens que le recours formé par B._ (ci-après l'intimé) est rejeté et le ch. 2 du dispositif supprimé. Les recourants invoquent la violation de leur droit d'être entendu, de même que celle des art. 3 al. 1 et 973 al. 1 CC. Des déterminations n'ont pas été demandées. D. Par ordonnance du 15 juillet 2011, la Présidente de la cour de céans a admis la requête de mesures provisionnelles déposée par les recourants, de sorte que l'inscription provisoire au registre foncier du litige les opposant à l'intimé a été maintenue.