Faits :
A.
A.a. A.A._ et B.A._ sont copropriétaires, chacun pour une demie, de la parcelle n° xxx inscrite au cadastre de la Commune de U._, depuis le 4 août 1987.
C._ et D._ sont propriétaires, en société simple, de la parcelle n° yyy inscrite au cadastre de la Commune de U._, depuis le 10 mars 2016.
A.b. Les parcelles n° s xxx et yyy sont directement voisines. Les bâtiments construits sur ces deux parcelles sont contigus. La limite de la parcelle n° xxx présente, au sud, un décrochement à l'intérieur de la parcelle n° yyy.
B.
B.a. En 1898, le propriétaire de l'immeuble aujourd'hui propriété de A.A._ et B.A._, E._, a acquis une chambre au rez-de-chaussée de l'immeuble aujourd'hui propriété de C._ et D._, alors propriété de F._.
Un procès-verbal de vente d'immeubles du 14 janvier 1910 mentionne une vente par E._ qui porte sur la parcelle n° 34 (actuelle n° xxx) et sur une " chambre au rez-de-chaussée " sise sur la parcelle n° 31 (actuelle n° yyy).
Un acte de vente de 1915 portant sur la parcelle n° 370 (actuelle n° xxx) mentionne que la vente, de G._ à H._ et I._, porte sur un logement avec une chambre à l'étage faisant saillie dépendant de l'article 612 (actuelle parcelle n° yyy).
Le 2 novembre 1926, J._ a transféré à K.R._ la propriété de la parcelle n° 612 (actuelle n° yyy), qui comprenait un " logement avec chambre à l'étage faisant saillie dans l'article 370" (actuelle parcelle n° xxx).
Le 3 avril 1956, L._ a vendu à M._ la parcelle n° 370 (actuelle n° xxx), laquelle comprenait une " habitation dans laquelle fait saillie à l'étage une chambre dépendant de l'art. 612" (actuelle parcelle n° yyy).
B.b. Le 12 mai 1970, M._ et les deux enfants de K.R._ - N._ et O._ - ont constitué une servitude d'empiètement.
La servitude, portant le n° zzz'zzz, est inscrite comme suit sur les extraits du registre foncier des parcelles nos xxx et yyy de U._: " (C) Constructions: Empiètement ID.xxx-xxxx/xxxxxx à la charge de B-F U._ xxx " respectivement "en faveur de B-F U._ yyy ".
L'exercice de la servitude d'empiètement est décrit dans un document intitulé " Adaptation des prescriptions relatives à la propriété par étage (sic) " de la manière suivante: " [L]a partie de bâtiment indiquée sur le plan annexé (teinte hachurée rouge) comportant une chambre à l'étage est réservée à l'usage exclusif des 2 enfants R._ ou à leurs successeurs qui en assumeront dorénavant l'entretien ".
Cet acte n'a pas été passé en la forme authentique.
B.c. Par acte du 5 mai 2015, C._ et D._ ont acheté la parcelle n° yyy à P._ et Q._, lesquels sont devenus propriétaires de ladite parcelle suite au décès de O._ (<ref-law>). L'acte de vente à terme mentionne la servitude, sans réserve. C._ et D._ ont demandé et obtenu une réduction du prix de vente à hauteur de 50'000 fr.
C.
C.a. Par demande du 12 avril 2017, A.A._ et B.A._ ont conclu principalement à la radiation de la servitude n° zzz'zzz grevant la parcelle n° xxx au profit de la parcelle n° yyy et à ce qu'ordre soit donné au Conservateur du registre foncier de procéder aux inscriptions découlant de cette radiation. Subsidiairement, ils ont conclu à ce qu'il soit constaté que ladite servitude était éteinte.
Selon les demandeurs, dès lors que C._ et D._ n'étaient pas des descendants des " 2 enfants R._ ", l'usage exclusif de la pièce litigieuse réservé à ceux-ci s'était éteint lorsque P._ et Q._, eux-mêmes des descendants de la famille R._, leur avaient cédé la parcelle n° yyy.
C.b. Par jugement du 13 novembre 2018, le Tribunal civil de l'arrondissement de La Côte (ci-après: le Tribunal) a rejeté la demande.
Le Tribunal a retenu que la servitude d'empiètement litigieuse était une servitude foncière, de sorte que son titulaire était toujours le propriétaire du fonds dominant, soit la parcelle de C._ et D._. Il a ensuite interprété le contenu de la servitude au regard de son acte constitutif et à l'aide des divers avis de droit établis durant l'instruction et a considéré que par l'expression " une chambre à l'étage est réservée à l'usage exclusif des 2 enfants R._ ou à leurs successeurs ", il fallait entendre toute personne qui avait remplacé les deux enfants R._ dans leurs droits et obligations relatifs à la parcelle n° yyy, défendeurs compris.
C.c. Par arrêt du 21 juin 2019, expédié le 8 juillet suivant, la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après: la Cour d'appel) a rejeté l'appel formé par A.A._ et B.A._ et confirmé le jugement entrepris.
D.
Par acte posté le 4 septembre 2019, A.A._ et B.A._ exercent un recours, non intitulé, au Tribunal fédéral contre l'arrêt du 21 juin 2019. Ils concluent à sa réforme dans le sens de l'admission des conclusions de leur demande du 12 avril 2017 et à ce que les frais et dépens de première instance soient mis à la charge des intimés, solidairement entre eux. Subsidiairement, ils sollicitent le renvoi de la cause à la Cour d'appel pour nouvelle décision dans le sens des considérants.
Des déterminations n'ont pas été requises.

Considérant en droit :
1.
1.1. Bien que l'écriture porte uniquement la mention " recours " sans autre précision, les recourants se réfèrent expressément aux art. 74, 75 et 76 LTF pour ce qui est de la recevabilité de leur acte, suggérant ainsi qu'ils entendent déposer un recours en matière civile.
1.2. Le recours est dirigé contre une décision finale (<ref-law>), rendue sur appel par le tribunal supérieur du canton (<ref-law>), dans une affaire civile (<ref-law>) de nature pécuniaire. La valeur litigieuse atteint le seuil de 30'000 fr. (<ref-law>), comme l'indiquent les recourants et le retient la cour cantonale. Le recours a été interjeté en temps utile (art. 46 al. 1 let. b et 100 al. 1 LTF) et en la forme prévue par la loi (<ref-law>), par des parties qui ont pris part à la procédure devant l'autorité précédente (<ref-law>) et ont un intérêt digne de protection à l'annulation ou la modification de la décision attaquée (<ref-law>). Le recours est donc en principe recevable.
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés (<ref-ruling> consid. 2.4 et les références). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). Le Tribunal fédéral ne connaît par ailleurs de la violation de droits fondamentaux que si un tel grief a été expressément invoqué et motivé de façon claire et détaillée par le recourant (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 6.7; <ref-ruling> consid. 2.2 et la référence), ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte doit satisfaire au principe d'allégation susmentionné (cf. supra consid. 2.1). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 1.1 et la référence). Le recourant ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.4.3). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-law>; <ref-ruling> consid. 1.1; <ref-ruling> consid. 1.3.1 et la référence).
3.
Les recourants reprochent à la cour cantonale d'avoir violé l'<ref-law> et le principe de l'interdiction de l'arbitraire en interprétant l'acte constitutif de la servitude litigieuse.
3.1. La juridiction précédente a tout d'abord constaté qu'il n'était plus contesté que la servitude en question était une servitude foncière et non personnelle, comme cela résultait d'ailleurs de l'inscription elle-même. A l'instar des premiers juges (cf. supra let. C.b), elle a ensuite considéré que le terme " successeur " devait être compris, objectivement par application du principe de la confiance, dans son sens usuel, à savoir comme le successeur en droit, c'est-à-dire les propriétaires successifs du fonds dominant, et non dans le sens plus restrictif de " descendant " ou d' " héritier ", et qu'il ne s'agissait pas d'une servitude qui aurait été limitée dans le temps. Par ailleurs, il n'apparaissait pas que les parties à la constitution de la servitude avaient eu l'idée de prévoir un rattachement ultérieur de la pièce litigieuse à la parcelle n° xxx, l'acte en question ne le prévoyant pas et ne réglant donc pas les modalités d'un tel rattachement. De plus, la pièce en question était uniquement accessible depuis la propriété des intimés. Enfin, les parties n'avaient jamais contesté que tant le chauffage que l'électricité de cette pièce étaient rattachés à la propriété des intimés.
3.2. Les recourants reprochent à l'autorité cantonale d'avoir violé l'<ref-law> en retenant une interprétation basée sur le principe de la confiance qui est " manifestement contraire à l'ensemble des éléments au dossier et à la teneur même de la servitude " et qui n'est pas conforme au principe selon lequel une servitude doit être interprétée de manière restrictive, le " doute " devant profiter au propriétaire du fonds servant. La Cour d'appel aurait à tort analysé uniquement le terme " succes seurs ", sans procéder à une interprétation globale de la clause litigieuse. Or, le terme " successeurs " ne pourrait être séparé de la " phrase complète correspondant à l'exercice de la servitude ". Indépendamment de l'interprétation de chacun des mots, leur choix, leur ordre et l'organisation de la phrase témoigneraient du désir des auteurs de limiter la servitude. Ces éléments manifesteraient l'existence d'une condition résolutoire, à tout le moins une volonté claire de restreindre la durée de la servitude, ainsi qu'une certaine personnalisation de celle-ci, soit notamment une volonté de maintenir un caractère " familial " aux relations entre les propriétaires des immeubles concernés. L'historique des biens-fonds et la création elle-même de la servitude litigieuse indiqueraient que l'idée était de permettre aux enfants R._, puis aux enfants de ceux-ci, de vivre dans la pièce en question, non de permettre l'usage de cette pièce à tout acquéreur du fonds dominant. Ainsi, contrairement à ce qu'avaient retenu les juges cantonaux, le terme " successeurs " constituerait en réalité une restriction dans la mesure où il a été préféré à celui d'acquéreur, un interprète de bonne foi ne pouvant " que voir une limitation dans la présence même de ce membre de phrase et, encore plus, dans l'usage d'un terme spécifique renvoyant sans conteste à une logique successorale ". En analysant l'ensemble des termes utilisés pour décrire l'exercice de la servitude, il ne ferait aucun doute que, dans l'esprit des rédacteurs et d'un tiers de bonne foi, le terme " successeurs " doit être compris comme " descendants " ou " héritiers " des enfants R._.
Les recourants relèvent également qu'il conviendrait de tenir compte de leur bonne foi dans leur compréhension de la servitude litigieuse, qui doit être protégée au titre de la foi publique attachée au registre foncier. Lorsqu'ils ont acquis la parcelle n° xxx et sur la base du descriptif de la servitude, ils ont toujours considéré que la pièce litigieuse devait leur revenir. Il ne faisait ainsi aucun doute pour eux que cette acquisition comportait la possibilité de récupérer la pièce en question au moment où les enfants R._ ou leurs descendants décideraient de se séparer de la parcelle n° yyy. C'était de cette manière qu'ils avaient "exercé " la servitude durant de nombreuses années. De même, ils avaient régulièrement rappelé à leurs voisins la teneur de la servitude et son interprétation. Les juges cantonaux avaient complètement négligé cet aspect. Ils avaient également omis de tenir compte du fait que la pièce litigieuse était structurellement liée au bien des recourants, que les façades des deux bâtiments ne manifestaient en aucune manière le fait que la pièce était utilisée par les intimés, qu'une telle saillie occasionnait des nuisances, notamment sonores, et qu'un raccordement de la pièce à l'immeuble sis sur la parcelle n o xxx ne posait aucune difficulté technique. Il n'était ainsi pas pertinent de retenir que la pièce était accessible par l'immeuble des intimés et raccordée uniquement à celui-ci.
3.3.
3.3.1. Selon l'<ref-law>, le propriétaire grevé peut exiger la radiation d'une servitude qui a perdu toute utilité pour le fonds dominant (al. 1). Il peut obtenir la libération totale ou partielle d'une servitude qui ne conserve qu'une utilité réduite, hors de proportion avec les charges imposées au fonds servant (al. 2). L'utilité pour le fonds dominant se définit conformément au principe de l'identité de la servitude, selon lequel celle-ci ne peut être maintenue dans un autre but que celui pour lequel elle a été constituée. Il faut ainsi examiner en premier lieu si le propriétaire du fonds dominant a encore un intérêt à exercer la servitude selon son but initial et quel est le rapport entre cet intérêt et celui qui existait au moment de la constitution de la servitude (<ref-ruling> consid. 2; <ref-ruling> consid. 2a; <ref-ruling> consid. 2a et la référence; arrêt 5A_698/2017 du 7 mars 2018 consid. 4 non publié in <ref-ruling>). L'intérêt du propriétaire du fonds dominant s'apprécie selon des critères objectifs (<ref-ruling> consid. 2; <ref-ruling> consid. 3a; arrêt 5A_698/2017 précité consid. 4).
3.3.2. Pour déterminer le but initial, le contenu et l'étendue de la servitude, le juge saisi de la demande de radiation se fondera, conformément à l'<ref-law>, en premier lieu sur l'inscription au registre foncier (al. 1). Dans la mesure où les droits et les devoirs respectifs en ressortent clairement, elle est décisive pour fixer le contenu de la servitude. Si l'inscription n'est pas claire, il faut remonter au fondement de l'acquisition, c'est-à-dire au contrat constitutif de la servitude. Si le titre d'acquisition n'est pas concluant, le contenu de la servitude peut être déterminé par la manière dont la servitude a été exercée pendant longtemps, paisiblement et de bonne foi (al. 2; <ref-ruling> consid. 3.1, 444 consid. 2.2; <ref-ruling> consid. 8; <ref-ruling> consid. 1.1; arrêts 5A_458/2019 du 30 janvier 2020 consid. 3.3; 5A_47/2019 du 5 septembre 2019 consid. 3.1).
3.3.3. L'interprétation du contrat constitutif de la servitude s'effectue de la même manière que les déclarations de volonté, à savoir, s'agissant d'un contrat, selon la réelle et commune intention des parties (<ref-law>), respectivement, pour le cas où celle-ci ne peut être établie, selon le principe de la confiance (<ref-ruling> consid. 7.1; <ref-ruling> consid. 3.2.1; <ref-ruling> consid. 3.1; arrêt 5A_873/2018 du 19 mars 2020 consid. 2.1); toutefois, vis-à-vis des tiers qui - comme en l'espèce - n'étaient pas parties au contrat constitutif de la servitude, ces principes d'interprétation sont limités par la foi publique attachée au registre foncier (<ref-law>) qui comprend non seulement le grand livre, mais aussi les pièces justificatives, dans la mesure où elles précisent la portée de l'inscription (<ref-law> repris par l'<ref-law>). Ce principe interdit de prendre en considération les circonstances et motifs personnels qui ont été déterminants dans la formation de la volonté des constituants; dans la mesure où ils ne résultent pas de l'acte constitutif, ils ne sont pas opposables au tiers qui s'est fondé de bonne foi sur le registre foncier (<ref-ruling> consid. 7.1; <ref-ruling> consid. 3.1 et les références; arrêts 5A_873/2018 précité consid. 2.1; 5A_458/2019 du 30 janvier 2020 consid. 3.3). Le résultat de l'interprétation objective devrait être ainsi le même que celui de l'interprétation subjective limitée par la foi publique (arrêts 5A_372/2017 du 2 novembre 2017 consid. 5.2.2; 5A_766/2016 du 5 avril 2017 consid. 4.1.3 et la doctrine citée).
Toute servitude doit être interprétée restrictivement et ne doit limiter les droits du propriétaire du fonds servant que dans la mesure nécessaire à son exercice normal (<ref-ruling> consid. 8b; <ref-ruling> consid. 3 et les références; arrêt 5A_872/2011 du 13 février 2012 consid. 3.2).
3.4. En l'espèce, en tant que les recourants se réfèrent à des éléments qui ne ressortent pas de la décision querellée - notamment en ce qui concerne les nuisances sonores de la pièce litigieuse, le fait que les façades des deux bâtiments ne " manifestent " pas que celle-ci est utilisée par les intimés ou le fait que le raccordement au bien des recourants ne poserait pas de difficultés techniques -, sans expliquer en quoi la juridiction précédente les aurait arbitrairement écartés, leur critique est d'emblée irrecevable (cf. supra consid. 2.2).
En l'occurrence, le droit litigieux a été inscrit au registre foncier en tant que servitude d'empiètement, à charge du bien-fonds n o xxx et en faveur du bien-fonds n o yyy. Il s'agit dès lors d'une servitude foncière (arrêt 5A_229/2010 du 7 juillet 2010 consid. 4.1.1; STEINAUER, Les droits réels, tome II, 4 e éd., 2012, n o 1628 et 1649; REY/STREBEL, in Basler Kommentar, ZGB II, 6 e éd., 2019, n o 7 ad <ref-law>), ce qui n'est à juste titre pas remis en cause par les recourants. Ceux-ci ne peuvent donc être suivis lorsqu'ils affirment que le contenu de la servitude est limité par la clause figurant dans l'acte de 1970 selon laquelle " (...) une chambre à l'étage est réservée à l'usage exclusif des 2 enfants R._ ou à leurs successeurs qui en assumeront désormais l'entretien ", la servitude revêtant ainsi un caractère " familial ". En effet, en interprétant la clause de cette façon, les recourants confèrent un caractère personnel à la servitude, ce qui porte atteinte à la caractéristique d'une servitude foncière selon laquelle le titulaire de celle-ci est le propriétaire du fonds dominant (cf. <ref-law>). Dès lors que l'acte constitutif est intitulé " Adaptation des prescriptions relatives à la propriété par étage (sic) ", on peut raisonnablement comprendre que l' "usage exclusif " auquel il est fait référence dans la clause litigieuse a trait au droit exclusif d'utiliser la pièce en question (comp. <ref-law>) et non au fait que l'utilisation de la pièce reviendrait exclusivement aux descendants des deux enfants R._. Contrairement à ce que soutiennent les recourants, la clause litigieuse ne peut pas non plus être objectivement comprise comme une condition résolutoire limitant la durée de la servitude, compte tenu de son manque de clarté et faute d'indication correspondante au registre foncier (cf. <ref-ruling> consid. 2b). Le fait que les recourants seraient de bonne foi dans leur compréhension de l'étendue de la servitude et auraient régulièrement rappelé celle-ci à leurs voisins n'est pas de nature à modifier cette conclusion. La cour cantonale n'a dès lors pas violé l'<ref-law> en considérant que le terme de " successeurs " figurant dans l'acte constitutif de 1970 devait être compris comme incluant tous les propriétaires successifs du fonds dominant.
Dans la mesure où il est recevable, le grief des recourants doit être rejeté.
4.
En conclusion, le recours est rejeté dans la mesure de sa recevabilité. Les frais judiciaires sont mis solidairement à la charge des recourants, qui succombent (<ref-law>). Il n'est pas alloué de dépens aux intimés, qui n'ont pas été invités à se déterminer (art. 68 al. 1 et 2 LTF). Compte tenu de l'issue de la cause, il n'y a pas lieu de modifier la répartition des frais et dépens de la procédure cantonale (art. 67 et 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'500 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 16 avril 2020
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Feinberg