Sachverhalt:
A.
A.a. C.C._ und D.C._ sind Miteigentümer einer von ihnen bewohnten Liegenschaft in U._. Westlich ihrer Liegenschaft verläuft ein öffentlicher Fluhgutweg, welcher eine Breite von ca. 1.6 Metern aufweist. Im Westen daran anschliessend folgt eine Liegenschaft, welche im Miteigentum von A.A._ und B.A._ steht. Auf der östlichen und südlichen Seite letztgenannter Liegenschaft befindet sich eine Thuja-Hecke; in der Südostecke steht eine Scheinzypresse (Höhe: 11.2 Meter). Auf besagter Liegenschaft wachsen zudem eine Roteiche (Höhe: 10 Meter) und eine dornenlose Gleditschie (Höhe: 14.75 Meter), welche einen Abstand von 4.9 Metern bzw. 4.1 Metern zur Grenze der Parzelle von C.C._ und D.C._ aufweisen.
A.b. Nachdem der Schattenwurf der vorstehend genannten Pflanzen zu Diskussionen und Briefwechseln geführt hatte, welche ergebnislos blieben, reichten C.C._ und D.C._ am 21. Oktober 2008 beim Kreisgericht See-Gaster eine Klage gegen die Rechtsvorgänger (Eltern) von A.A._ und B.A._ ein. Dabei verlangten sie die Fällung aller sich im Grenzabstand befindlichen Bäume sowie das Zurückschneiden der Thuja-Hecke auf 1.8 Meter. Das Kreisgericht entschied, dass die drei Bäume gefällt und die Thuja-Hecke auf einer Länge von 9.5 Metern auf 1.8 Meter Höhe zurückgeschnitten und in diesem Bereich unter Schnitt gehalten werden müsse. Die damaligen beklagten Parteien erhoben daraufhin Berufung, wobei sie im Verlauf des Berufungsverfahrens die Liegenschaft auf ihre Söhne (A.A._ und B.A._) übertrugen. Da letztere auf einen Prozesseintritt verzichteten, wies die Berufungsinstanz die Klage mit Entscheid vom 29. November 2012 mangels Passivlegitimation ab.
A.c. Am 20. August 2015 erhoben C.C._ und D.C._ beim Kreisgericht See-Gaster Klage gegen A.A._ und B.A._. Darin verlangten sie, es sei die Thuja-Hecke auf einer Länge von 9.5 Metern bis auf eine Höhe von 1.2 Metern innert angemessener Frist zu schneiden bzw. in diesem Bereich auf einer Höhe von 1.2 Metern unter Schnitt zu halten. Sodann seien sämtliche Bäume, welche sich im Grenzabstand befinden, innert angemessener Frist zu fällen. Im Rahmen der Schlussvorträge nahmen C.C._ und D.C._ unter Hinweis auf die per 1. Januar 2017 in Kraft getretenen neuen Bestimmungen im Einführungsgesetz zum Schweizerischen Zivilgesetzbuch des Kantons St. Gallens vom 3. Juli 1911 (EG ZGB/SG; sGS 911.1) eine Klageänderung vor, wobei sie in Abweichung zu den ursprünglichen Begehren verlangten, dass die Thuja-Hecke (ebenfalls) vollumfänglich zu fällen sei. A.A._ und B.A._ beantragten die vollumfängliche Abweisung der Klage, soweit überhaupt darauf eingetreten werden könne. In der Folge entschied das Kreisgericht, auf die Klageänderung nicht einzutreten (Disp.-Ziff. 1). Weiter verpflichtete es A.A._ und B.A._, innert 30 Tagen nach Rechtskraft des Urteils die Thuja-Hecke auf einer Länge von 9.5 Metern bis auf eine Höhe von 3 Metern zu schneiden bzw. in diesem Bereich auf einer Höhe von 3 Metern unter Schnitt zu halten (Disp.-Ziff. 2) sowie die dornenlose Gleditschie, die amerikanische Roteiche und die Scheinzypresse zu fällen (Disp.-Ziff. 3). Schliesslich verpflichtete das Kreisgericht C.C._ und D.C._ zur Bezahlung der Gerichtskosten (Fr. 7'775.75) zu 1/6 und A.A._ und B.A._ zu 5/6 (Disp.-Ziff. 4). Letztere wurden überdies zur Leistung einer Parteientschädigung in Höhe von Fr. 6'134.35 (inkl. Barauslagen und MWST) verpflichtet (Disp.-Ziff. 5). Der Entscheid wurde am 5. Dezember 2017 im Dispositiv eröffnet; die begründete Fassung folgte am 18. Januar 2018.
B.
B.a. Dagegen legten A.A._ und B.A._ beim Kantonsgericht St. Gallen Berufung ein und beantragten, es seien die Disp.-Ziff. 3, 4 und 5 des kreisgerichtlichen Entscheids aufzuheben. Weiter sei die Klage betreffend die Beseitigung der Bäume vollumfänglich abzuweisen, eventualiter sei die Klage betreffend die Beseitigung der Scheinzypresse abzuweisen.
B.b. Mit Berufungsantwort beantragten C.C._ und D.C._ die vollumfängliche Abweisung der Berufung. Gleichzeitig erhoben sie Anschlussberufung, worin sie die Aufhebung von Disp.-Ziff. 2 des kreisgerichtlichen Entscheids forderten bzw. verlangten, dass die Thuja-Hecke auf einer Länge von 9.5 Metern bis auf eine Höhe von 1.2 Metern innert angemessener Frist zu schneiden und in diesem Bereich auf einer Höhe von 1.2 Metern unter Schnitt zu halten sei. Ausserdem seien die gesamten erstinstanzlichen Gerichtskosten unter Aufhebung von Disp.-Ziff. 4 und 5 des kreisgerichtlichen Entscheids A.A._ und B.A._ aufzuerlegen. Ferner sollten letztgenannte zur vollumfänglichen Bezahlung der festgelegten erstinstanzlichen Anwaltskosten in Höhe von Fr. 9'201.50 verpflichtet werden. In der Anschlussberufungsantwort beantragten A.A._ und B.A._ die Abweisung der Anschlussberufung.
B.c. Mit Entscheid vom 23. Oktober 2019 wies das Kantonsgericht die Berufung und die Anschlussberufung ab.
C.
C.a. Mit Beschwerde vom 28. November 2019 gelangen A.A._ und B.A._ (Beschwerdeführer) an das Bundesgericht und beantragen die Aufhebung des kantonsgerichtlichen Entscheids, eventualiter die Rückweisung der Sache zur Neubeurteilung an das Kantonsgericht.
C.b. Überdies beantragten die Beschwerdeführer, es sei betreffend die Beseitigung der drei Bäume die aufschiebende Wirkung zu erteilen. Mit Verfügung vom 6. Januar 2020 hat der Präsident der urteilenden Abteilung die aufschiebende Wirkung zuerkannt.
C.c. Das Bundesgericht hat die kantonalen Akten, jedoch keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Die Streitigkeit unter Nachbarn über die vollständige oder teilweise Beseitigung von Pflanzen betrifft eine Zivilsache (Art. 72 Abs. 1 BGG) in einer vermögensrechtlichen Angelegenheit, deren Streitwert laut Angaben im angefochtenen Urteil Fr. 30'000.-- übersteigt (Art. 74 Abs. 1 lit. b BGG; BGE 45 II 402 E. 1 S. 405 und die seitherige Rechtsprechung; ausführlich: Urteile 5C.249/1994 vom 5. Januar 1996 E. 1b; 5A_29/2015 vom 5. Juni 2015 E. 1.1.1). Er ist kantonal letztinstanzlich (Art. 75 BGG), lautet zum Nachteil der Beschwerdeführer (Art. 76 Abs. 1 BGG) und schliesst das Verfahren ab (Art. 90 BGG). Auf die rechtzeitig eingereichte Beschwerde (Art. 100 Abs. 1 BGG) ist einzutreten.
1.2. Die Beschwerde hat ein Rechtsbegehren zu enthalten (Art. 42 Abs. 1 BGG). Da die Beschwerde an das Bundesgericht ein reformatorisches Rechtsmittel ist (Art. 107 Abs. 2 BGG), darf sich die beschwerdeführende Partei grundsätzlich nicht darauf beschränken, die Aufhebung des angefochtenen Entscheids zu beantragen, sondern muss einen Antrag in der Sache stellen. Die Beschwerdeführer müssten demnach angeben, welche Punkte des angefochtenen Entscheids bestritten werden und welche Abänderung des Dispositivs beantragt wird. Grundsätzlich ist ein materieller Antrag erforderlich; Anträge auf Rückweisung der Sache an die Vorinstanz zur neuen Entscheidung oder blosse Aufhebungsanträge genügen nicht und machen die Beschwerde unzulässig. Ein blosser Rückweisungsantrag reicht ausnahmsweise aus, wenn das Bundesgericht im Falle der Gutheissung in der Sache nicht selbst entscheiden könnte, weil die erforderlichen Sachverhaltsfeststellungen der Vorinstanz fehlen (Urteil 4A_330/2008 vom 27. Januar 2010 E. 2.1 mit Hinweisen, nicht publ. in: <ref-ruling>; <ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 3.1 S. 489 f.). Vorliegend beantragten die Beschwerdeführer im Hauptbegehren einzig die Aufhebung des angefochtenen Entscheids des Kantonsgerichts. Einen materiellen Antrag stellen sie nicht und geben nicht an, inwiefern das Dispositiv des angefochtenen Entscheids zu ändern wäre. Die blosse Aufhebung des kantonsgerichtlichen Entscheids würde den Beschwerdeführern nicht weiterhelfen, zumal der erstinstanzliche Entscheid zu ihren Lasten ausgefallen ist. Immerhin kann den Beschwerdeführern zugute gehalten werden, dass wenigstens aus der Beschwerdebegründung, in deren Lichte das Begehren auszulegen ist (<ref-ruling> E. 1 S. 127), klar wird, dass sie nebst Aufhebung des vorinstanzlichen Entscheids die Abweisung der vor erster Instanz erhobenen Klage fordern. Mithin kann das Begehren der Beschwerdeführer als genügend betrachtet werden.
2.
2.1. Mit der Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 f. BGG geltend gemacht werden. Das Bundesgericht wendet das Recht grundsätzlich von Amtes wegen an (Art. 106 Abs. 1 BGG) und prüft mit freier Kognition, ob der angefochtene Entscheid Recht verletzt. Es befasst sich aber nur mit formell ausreichend begründeten Einwänden (Art. 42 Abs. 2 BGG; <ref-ruling> E. 2 S. 88 f., 115 E. 2 S. 116). Soweit die beschwerdeführende Partei die Verletzung verfassungsmässiger Rechte geltend macht, gilt das strenge Rügeprinzip (vgl. Art. 106 Abs. 2 BGG und dazu <ref-ruling> E. 1.3 S. 41; <ref-ruling> E. 2.3 S. 266). Diesfalls ist klar und detailliert anhand der Erwägungen des angefochtenen Entscheides darzulegen, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 1.2 S. 234).
2.2. Was den Sachverhalt angeht, legt das Bundesgericht seinem Urteil die vorinstanzlichen Feststellungen zugrunde (Art. 105 Abs. 1 BGG). Diesbezüglich kann die rechtsuchende Partei nur vorbringen, die vorinstanzlichen Feststellungen seien offensichtlich unrichtig, das heisst willkürlich, oder würden auf einer anderen Bundesrechtsverletzung im Sinne von Art. 95 BGG (z.B. Verletzung von Art. 29 Abs. 2 BV oder Art. 8 ZGB) beruhen. In der Beschwerde ist überdies darzutun, inwiefern die Behebung der gerügten Mängel für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG; <ref-ruling> E. 2.2.2 S. 22).
3.
Die Beschwerdeführer machen in erster Linie geltend, die Beschwerdegegner seien nicht aktivlegitimiert, um die Beseitigung der drei sich auf dem Grundstück der Beschwerdeführer befindenden Bäume (d.h. die dornenlose Gleditschie, die amerikanische Roteiche und die Scheinzypresse) zu verlangen, da diese infolge des zwischen ihren Grundstücken verlaufenden öffentlichen Fluhgutwegs nicht direkte Nachbarn der Beschwerdeführer seien. Insoweit habe das Kantonsgericht Art. 687 und Art. 688 ZGB verletzt.
3.1.
3.1.1. Im Nachbarrecht gilt der Grundsatz gemäss Art. 684 ZGB, wonach jedermann verpflichtet ist, sich aller übermässigen Einwirkungen auf das Eigentum der Nachbarn zu enthalten. Für Pflanzen sind in Art. 687 f. ZGB Spezialbestimmungen vorgesehen.
3.1.2. Art. 687 Abs. 1 ZGB legt fest, dass ein Nachbar überragende Äste und eindringende Wurzeln, welche sein Eigentum schädigen und nicht innert angemessener Frist beseitigt werden, kappen und für sich behalten darf (sog. Kapprecht). Gemäss Art. 687 Abs. 2 ZGB hat ein Grundeigentümer, der das Überragen von Ästen duldet, ein Recht auf die an ihnen wachsenden Früchte (sog. Anriesrecht).
3.1.3. Gemäss Art. 688 ZGB sind die Kantone sodann unter anderem befugt, für Anpflanzungen je nach der Art des Grundstücks und der Pflanzen bestimmte Abstände vom nachbarlichen Grundstück vorzuschreiben. Die Bestimmung enthält damit einen echten zuteilenden Vorbehalt zugunsten der Kantone im Sinne von Art. 5 ZGB. Gestützt darauf sind diese ermächtigt, die Abstände festzulegen, welche die Eigentümer für Anpflanzungen einhalten müssen, und Sanktionen für die Verletzung entsprechender Bestimmungen vorzusehen (<ref-ruling> E. 3a S. 457; <ref-ruling> E. 2a S. 84; Urteil 5A_29/2015 vom 5. Juni 2015 E. 3.3.1; je mit Hinweisen). Die Bestimmungen, welche die Kantone auf der Grundlage von Art. 688 ZGB erlassen, bezwecken den Schutz von Nachbarn gegen Beeinträchtigungen durch den von Pflanzen auf dem Nachbargrundstück erzeugten Immissionen wie dem Entzug von Licht und Aussicht oder erhöhter Feuchtigkeit (Urteil 5A_29/2015 vom 5. Juni 2015 E. 3.3.1 mit Hinweisen; Urteil 5P.430/1995 vom 25. März 1996 E. 3, nicht publ. in: BGE <ref-ruling>).
3.1.4. Der Kanton St. Gallen hat von diesem Vorbehalt in den Art. 96 ff. EG ZGB/SG Gebrauch gemacht. Für die im Streit stehenden Bäume gilt dabei die Abstandsvorschrift für Hochstämmer nach aArt. 98 EG ZGB/SG, der gemäss der Übergangsbestimmung Art. 196 EG ZGB/SG nach wie vor Anwendung findet. Danach ist ein Grenzabstand von sechs Metern einzuhalten.
3.2. Das Kantonsgericht erwog, es sei in tatsächlicher Hinsicht unumstritten, dass die Grundstücke der Parteien nicht direkt aneinandergrenzen, sondern dass der ca. 1.6 Meter breite öffentliche Fluhgutweg, der eine separate Parzelle bilde und im Eigentum der Gemeinde stehe, das Grundstück der Beschwerdeführer im Westen und dasjenige der Beschwerdegegner im Osten begrenze. Ebenfalls unumstritten sei, dass die drei Bäume den kantonalen Grenzabstand, gemessen bis zur Liegenschaft der Beschwerdegegner - unter Einbezug des dazwischenliegenden Fluhgutwegs - nicht einhalten. Das Kreisgericht habe sich zu Recht auf die in der vorliegenden Situation gegebene räumliche Betroffenheit der Beschwerdegegner berufen und daher ihre Aktivlegitimation als "Nachbarn" für eine auf Art. 679 ZGB gestützte Klage bejaht. Die Argumentation der Beschwerdeführer, wonach gerade in Fällen von Art. 687 und Art. 688 ZGB bzw. der gestützt darauf erlassenen kantonalrechtlichen Grenzabstände lediglich der unmittelbare Anstösser als "Nachbar" gelte, der Ansprüche aus Nachbarrecht, namentlich einen Beseitigungsanspruch, geltend machen könne, sei nicht nachvollziehbar. Es erschliesse sich nicht, weshalb dort, wo Bäume den vorgeschriebenen Mindestabstand selbst zur Grenze der übernächsten Parzelle unterschreiten, nur der direkte Anstösser räumlich betroffen sein soll. Die räumliche Betroffenheit ausgehend von den Bäumen im Unterabstand sei das Gleiche, ob sich nun das Pflanzengrundstück etwas weiterziehe oder - wie hier mit der Wegparzelle der Gemeinde - noch ein schmaler Streifen Land in anderem Eigentum dazwischenliege.
Nichts anderes ergebe sich anhand einer Auslegung der einschlägigen Gesetzesbestimmungen. Zwar komme sowohl aus dem Wortlaut von Art. 688 ZGB ("bestimmte Abstände vom nachbarlichen Grundstück"), von aArt. 98 EG ZGB/SG ("z.B. sind in einer Entfernung von sechs Metern [...] von der Grenze zu pflanzen") als nunmehr auch von Art. 98 bis EG ZGB/SG ("gelten folgende Grenzabstände") zum Ausdruck, dass damit in erster Linie die Situation zweier direkt nebeneinanderliegender Grundstücke gemeint sei. Dasselbe ergebe sich aus der Systematik der kantonalen Vorschriften, welche unter der Marginalie "III. Grenzabstände" stehen, unter welchem Begriff gemeinhin definiert werde, wie nahe eine Pflanze an die Grenze heran gepflanzt werden bzw. wachsen dürfe. Es würde allerdings zu kurz greifen, die Auslegung dabei bewenden zu lassen, da der Gesetzgeber Konstellationen wie die vorliegende entweder nicht vor Augen hatte oder der Verständlichkeit halber und mit Blick auf den Ausnahmecharakter derselben darauf verzichtete, diese bei der Ausformulierung des Gesetzestextes miteinfliessen zu lassen. Die kantonalen Abstandsvorschriften dienen, so das Kantonsgericht weiter, dem Schutz der Nachbarn vor Immissionen. Es gehe dabei nicht nur um gewisse positive Immissionen wie Laubfall, überragende Äste oder hinüberwachsende Wurzeln, sondern ebenso um Schattenwurf, Entzug von Licht und Aussicht und erhöhte Feuchtigkeit. Die negativen Immissionen blieben nicht aus und entsprechend werde der generell-abstrakte Schutz nicht obsolet, nur weil zwischen dem Grundstück noch ein schmaler Streifen Land in Dritteigentum liege.
Dasselbe lasse sich, so das Kantonsgericht weiter, mit Bezug auf die Rechtsbehelfe des Nachbarn sagen. Ausgehend von der Fiktion, dass im gesetzlich fixierten Mindestabstand stehende Bäume negative Auswirkungen auf Nachbargrundstücke haben, müssen sie mangels anderer Vereinbarung beseitigt werden, ohne dass "übermässige Immissionen" nach Art. 684 ZGB oder ein besonderes Interesse an der Beseitigung im Einzelfall nachgewiesen werden müsse. Fehle eine Regelung betreffend die Sanktion einer Verletzung der kantonalen Abstandsvorschriften - wie hier - ergebe sich der Beseitigungsanspruch aus Art. 679 ZGB, gestützt worauf der Nachbar, der dadurch "geschädigt oder im Schaden bedroht werde", anspruchsberechtigt sei. Wer als geschädigter Nachbar im Sinne von Art. 679 ZGB gelte, sei wiederum nach Massgabe der im konkreten Fall verletzten nachbarrechtlichen Vorschrift zu bestimmen. Im Falle von Art. 688 ZGB müsse dies nach dem Gesagten jeder sein, zu dessen Parzellengrenze Anpflanzungen auf einem benachbarten Grundstück die gesetzlich fixierten Mindestabstände nicht einhalten und der daher die vom kantonalen Gesetzgeber vorweg als missbillig eingestuften Immissionen hinzunehmen habe. Richtig besehen, könne also, insbesondere bei hochstämmigen Bäumen, auch ein nicht unmittelbar angrenzender Grundeigentümer vom Schutzzweck der kantonalen Abstandsvorschriften für Anpflanzungen erfasst und deshalb legitimiert sein, als "Nachbar" gestützt auf Art. 679 ZGB eine Beseitigungsklage zu erheben. Zusammengefasst sei die Legitimation der Kläger als Eigentümer eines lediglich durch einen Weg von 1.6 Metern Breite vom beklagtischen Grundstück getrennten Grundstücks zu bejahen, sie gelten im Sinne von Art. 688 ZGB als "Nachbarn" und damit als aktivlegitimiert für die Beseitigungsklage nach Art. 679 ZGB.
3.3.
3.3.1. Den gegen die kantonsgerichtlichen Erwägungen erhobenen Rügen der Beschwerdeführer ist kein Erfolg beschieden. So stützen die Beschwerdeführer ihre Argumentation, wonach es sich bei den Beschwerdegegnern nicht um Nachbarn im Sinne von Art. 688 ZGB handle, namentlich auf <ref-ruling> E. 3, in: Pra 2018 Nr. 115 S. 1054. Das Bundesgericht führte in der zitierten Erwägung aus, der Begriff des Nachbarn sei nicht definiert und variiere je nach der Norm des fraglichen Nachbarrechts. Wenn in Art. 687 und Art. 688 ZGB grundsätzlich davon ausgegangen werde, dass die Grundstücke nebeinanderliegen, sei dies bei Art. 684, 685 und 689 ZGB nicht notwendigerweise der Fall. Die Beschwerdeführer übersehen, dass das Bundesgericht in dieser Erwägung Raum dafür gelassen hat, dass sich neben anderen nachbarschaftsrechtlichen Bestimmungen auch Art. 687 f. ZGB auf weiter entfernt liegende Nachbarn erstrecken können. Auch aus den von den Beschwerdeführern zitierten Literaturstellen lässt sich nicht ableiten, dass gestützt auf Art. 688 ZGB zwingend von einem engen Nachbarbegriff ausgegangen werden muss (für eine enge Auslegung des Nachbarbegriffs: ARTHUR MEIER-HAYOZ, Berner Kommentar, 3. Aufl. 1964, N. 44 zu Art. 679 ZGB; offen bleibt die Frage demgegenüber in: HEINZ REY, DIE GRUNDLAGEN DES SACHENRECHTS UND DAS EIGENTUM, 3. AUFL. 2007, S. 291 RZ. 1103 FF. : "Nachbar ist in der Regel wohl nur jener Grundeigentümer, dessen Grundstück direkt an jenes anstösst, von dem überragende Äste und eindringende Wurzeln ausgehen [Art. 687 ZGB]"). Aus dem Dargelegten spricht nichts dagegen, bei räumlicher Betroffenheit auch nicht unmittelbar aneinander grenzende Nachbarn unter Art. 688 ZGB zu subsumieren.
3.3.2. Sodann spricht der Umstand, dass die Regelungen des Nachbarrechts zu den Pflanzen im Gesetz unter einer eigenständigen Ziffer (Ziff. 3 Nachbarrecht) geregelt sind, - wie die Beschwerdeführer geltend machen - zwar nicht dafür, dass in systematischer Hinsicht "automatisch" von demselben (extensiveren) Nachbarbegriff ausgegangen werden muss wie nach Art. 684 ff. ZGB (Ziff. 1 Nachbarrecht). Gleichzeitig muss den Beschwerdeführern aber entgegengehalten werden, dass der alleinige Umstand der Regelung in einer separaten Ziffer auch nicht gegen die Annahme eines erweiterten Nachbarbegriffs spricht. Unter dem Strich lässt sich mit diesem Argument daher nichts zugunsten der Beschwerdeführer ableiten.
3.3.3. Unbehelflich bleibt schliesslich die Behauptung der Beschwerdeführer, wonach Art. 687 und Art. 688 ZGB Grundeigentümer lediglich vor "körperlichen" bzw. materiellen Einwirkungen (übergreifende Äste oder Wurzeln) eines Nachbargrundstückes und im Gegensatz zu Art. 684 ZGB nicht zusätzlich vor negativen Immissionen schützen wollen. Dies trifft zumindest für Art. 688 ZGB nicht zu (vgl. E. 3.1.3). Im Übrigen genügt entgegen den Ausführungen der Beschwerdeführer - und wie das Kantonsgericht zutreffend ausführt (vgl. E. 3.2) - die Nichteinhaltung der kantonalrechtlichen Abstände, um die Beseitigung einer Pflanze verlangen zu können. Ein Nachweis übermässiger Einwirkung muss im Gegensatz zu Art. 684 ZGB nicht erbracht werden (<ref-ruling> E. 3c/bb S. 460; Urteil 5D_80/2015 vom 7. September 2015 E. 3.1).
3.3.4. Alles in allem gelingt es den Beschwerdeführern nicht, die kantonsgerichtlichen Erwägungen zu entkräften. Vielmehr liegt es geradezu auf der Hand, dass auch Konstellationen, in denen der Mindestabstand auch zu nicht unmittelbar angrenzenden Nachbargrundstücken nicht eingehalten wird, vom Schutzzweck von Art. 688 ZGB erfasst werden. Mithin hat das Kantonsgericht bei der Bejahung der Aktivlegitimation der Beschwerdegegner kein Bundesrecht verletzt.
4.
Für den Fall, dass die Aktivlegitimation vom Bundesgericht bejaht werde, argumentieren die Beschwerdeführer, dass die Anordnung des Fällens der Scheinzypresse gleichwohl Bundesrecht verletze, da die Beschwerdegegner zu lange mit der Geltendmachung des Beseitigungsanspruchs zugewartet und damit gegen den Grundsatz von Treu und Glauben (Art. 2 ZGB) verstossen hätten.
4.1. Das Kantonsgericht führte zunächst aus, die Kantone seien im Rahmen des echten Vorbehaltes von Art. 688 ZGB nicht nur ermächtigt, Abstandsvorschriften zu erlassen, sondern sie seien auch befugt, die Rechtsfolgen einer Verletzung derselben zu regeln (vgl. E. 3.1.3). Dabei dürfe das kantonale Recht Beseitungsansprüche wegen Unterabstands befristen, diese mithin einer Verjährungs- oder Verwirkungsfrist unterstellen. Das st. gallische EG ZGB/SG kenne anders als andere Kantone keine solche Frist, weder in der aufgrund der Übergangsbestimmungen (Art. 196 EG ZGB/SG) anwendbaren früheren noch in der aktuellen Fassung, in der die Unverjährbarkeit in Art. 98 sexies EG ZGB/SG sogar ausdrücklich normiert sei. Lehre und Praxis hätten daraus seit je her geschlossen, dass die Beseitigung von Pflanzen im Unterabstand jederzeit verlangt werden könne. Es bestehe kein Grund dafür, von dieser langjährigen und konstanten Rechtsprechung abzuweichen, erst recht nicht, nachdem diese inzwischen kodifiziert worden sei. Demzufolge unterscheide sich die Rechtslage im Kanton St. Gallen von der aargauischen, die das Bundesgericht im von den Beklagten (vor Bundesgericht: Beschwerdeführern) wiederholt angerufenen Urteil 5D_80/2015 vom 7. September 2015 zu beurteilen hatte und die zwar nicht im Gesetz, jedoch in der Praxis eine Verwirkung des Beseitigungsanspruchs wegen verzögerter Rechtsausübung im Sinne von Rechtsmissbrauch kenne. Anders als dort stelle das lange Tolerieren einer Pflanze nach der st. gallischen Rechtsprechung nur - aber immerhin - ein Indiz dafür dar, dass es dem Nachbarn an einem schützenswerten Interesse fehle. Damit Rechtsmissbrauch bejaht werden könne, müssten aber besondere Umstände hinzutreten, welche die Rechtsausübung mit der früheren Tätigkeit des Berechtigten in einem unvereinbaren Widerspruch erscheinen liessen. Ob analog der aargauischen Praxis darin, dass ein Nachbar die rechtswidrigen Pflanzen während sehr langer Zeit, richtliniengemäss während 30 Jahren, ohne Widerspruch geduldet habe, besondere Umstände zu erblicken seien, die eine spätere Beseitigungsklage - erhebliche Mehrbelastung vorbehalten - als widersprüchlich erscheinen liessen, könne vorliegend offenbleiben, da diese Voraussetzungen ohnehin nicht erfüllt wären. So hätten die Beschwerdegegner ihr Grundstück erst Ende 1999 erworben, womit sie die strittige Scheinzypresse fraglos noch gar nicht 30 Jahre hätten geduldet haben können. Selbst wenn ihnen jedoch die Duldungszeit ihrer Rechtsvorgänger angerechnet worden wäre, hätten sie mit ihrem Schreiben vom 18. April 2003 die "doppelstämmige Tuja-Tanne in der Südostecke", welche 1976/1976 eingepflanzt wurde, innert spätestens 28 Jahren beanstandet. Im Oktober 2008 gingen die Beschwerdegegner ein erstes Mal auf gerichtlichem Weg gegen die Beschwerdeführer vor. Ein widersprüchliches Verhalten lasse sich insofern nicht ausmachen. Gleichzeitig hätten die Beschwerdeführer den Einwand der Beschwerdegegner, wonach die Scheinzypresse im Jahre 2000/2001 noch viel kleiner als heute gewesen sei, nicht bestritten, womit davon auszugehen sei, dass die Belastung des Grundstücks der Beschwerdegegner durch die Scheinzypresse in den Jahren seit dem Eigentumserwerb der Beschwerdeführer nochmals zugenommen habe. Wie sich dem Augenscheinprotokoll entnehmen lasse, entziehe dieser dicht bewachsene Baum dem u.a. mit einem Biotop bzw. Bio-Badeteich versehenen Garten der Beschwerdegegner denn auch durchaus Sonne und Licht, womit die Beschwerdeführer auch keine blosse Schikane oder ein krass überwiegendes Interesse ihrerseits in Feld führen können. Angesichts der unzweifelhaft vorhandenen negativen Auswirkungen auf ihre Liegenschaft, könnten die Beschwerdegegner die Entfernung der Scheinzypresse verlangen, auch wenn dieser Baum "bloss" 0.6 Meter im Unterabstand stehe, nicht versetzbar und wertvoll sei und einen Wiederbeschaffungswert von Fr. 21'600.-- aufweise.
4.2. Vorab ist festzuhalten, dass die Rüge der Beschwerdeführer, wonach das st. gallische Recht mangels Verjährungsbestimmung zur Geltendmachung von einem Unterabstand gegen Bundesrecht verstosse, offenkundig ins Leere läuft, zumal die Kantone lediglich ermächtigt, jedoch nicht verpflichtet sind, solche Fristen vorzusehen (vgl. E. 3.1.3 und 4.1; BGE <ref-ruling> E. 2a S. 84).
4.3.
4.3.1. Die Beschwerdeführer werfen dem Kantonsgericht - unter Hinweis auf das Urteil 5D_80/2015 vom 7. September 2015 E. 3.1 und 4.2 - zudem vor, es lasse ausser Acht, dass bei der Bestimmung, ab wann ein Beseitungsanspruch als rechtsmissbräuchlich zu betrachten sei, gemäss der bundesgerichtlichen Rechtsprechung die gesetzlichen Bestimmungen der Ersitzung nach Art. 661 ff. ZGB zur Anwendung kommen. Daran anknüpfend führen die Beschwerdeführer aus, dass das Bundesgericht bei der Beurteilung, ab wann von einer verzögerten Rechtsausübung ausgegangen werden könne, Art. 662 ZGB (ausserordentliche Ersitzung) analog anwende, womit eine Frist von 30 Jahren gelte. Zusätzlich weisen die Beschwerdeführer darauf hin, dass gemäss Art. 663 ZGB in Bezug auf die Berechnung der Fristen, die Unterbrechung und den Stillstand der Ersitzung die Vorschriften über die Verjährung von Forderungen Anwendung finden. Dabei seien die verjährungsunterbrechenden Handlungen und somit auch die Handlungen, aufgrund denen die Frist für eine Ersitzung von neuem zu laufen beginne, in Art. 135 OR abschliessend aufgezählt, wobei es sich insbesondere um das Einreichen eines Schlichtungsgesuchs oder einer Klage handle. Mithin reiche das Zustellen eines Briefes, so wie es die Beschwerdegegner im Jahr 2003 getan hätten, entgegen den kantonsgerichtlichen Erwägungen nicht aus, um die Ersitzungsfrist zu unterbrechen. Vielmehr sei entscheidend, dass die Beschwerdegegner erst im Oktober 2008 und damit erst nachdem die Scheinzypresse bereits 33 Jahre eingepflanzt gewesen sei zum ersten Mal ein Schlichtungsgesuch eingereicht hätten. Der Beseitigungsanspruch sei somit verwirkt.
4.3.2. Die Rüge der Beschwerdeführer ist unbegründet. Zunächst ist anzuführen, dass das Rechtsmissbrauchsverbot im Bereich des kantonalen Privatrechts nicht gestützt auf Art. 2 ZGB, sondern kraft ungeschriebenem kantonalen Recht gilt (LUKAS ROOS, Pflanzen im Nachbarrecht, 2002, S. 55 mit Hinweis u.a. auf <ref-ruling>). Vor Bundesgericht kann die Verletzung kantonalen Rechts als solche nicht gerügt werden. Ausserhalb der hier nicht interessierenden Teilbereiche von Art. 95 lit. b-e BGG kann nur geltend gemacht werden, der angefochtene Entscheid verstosse gegen Bundesrecht (Art. 95 lit. a BGG). Im Vordergrund steht dabei eine Verletzung verfassungsmässiger Rechte, insbesondere des Willkürverbots nach Art. 9 BV (<ref-ruling> E. 1 S. 203; <ref-ruling> E. 1.2.1 S. 251 f.).
Das von den Beschwerdeführern zitierte bundesgerichtliche Urteil schildert - wie das Kantonsgericht ausführt - in der betreffenden Erwägungen lediglich die Rechtslage bzw. Praxis im Kanton Aargau, wo als Richtlinie die Frist der ausserordentlichen Ersitzung von 30 Jahren gelte. Entsprechend erweist sich der betreffende Hinweis der Beschwerdeführer für den vorliegenden Fall als untauglich. Vielmehr gilt im Kanton St. Gallen der vom Kantonsgericht genannte Grundsatz, wonach Rechtsmissbrauch bei langem Tolerieren von Nachbarpflanzen erst bei Vorliegen von besonderen Umständen angenommen wird. Die Ersitzungs- bzw. Verjährungsbestimmungen sind mithin nicht anwendbar. Hinsichtlich der Frage des Rechtsmissbrauchs übersehen die Beschwerdeführer sodann, dass es sich hierbei wie vorstehend dargelegt um eine Frage des kantonalen Rechts handelt, deren Anwendung vor Bundesgericht lediglich unter Willkürgesichtspunkten überprüft werden kann. Die Beschwerdeführer rügen jedoch einzig die Verletzung von Art. 2 ZGB, weshalb auf die Rüge nicht eingetreten werden kann (vgl. E. 2.1)
4.4.
4.4.1. Die Beschwerdeführer bringen sodann vor, es handle sich bei der Scheinzypresse um einen sehr wertvollen Baum, weshalb der Beseitigungsanspruch der Beschwerdegegner auch unter diesem Blickwinkel nicht gegeben sei.
4.4.2. In formeller Hinsicht machen die Beschwerdeführer dabei geltend, das Kantonsgericht sei zufolge der kurzen Begründung (von "knapp drei Zeilen") seiner Begründungspflicht nicht nachgekommen. Diesbezüglich ist festzuhalten, dass die Begründungspflicht als Teilgehalt des Anspruchs auf rechtliches Gehör (Art. 29 Abs. 2 BV) verlangt, dass das Gericht die Überlegungen nennt, von denen es sich hat leiten lassen, damit der Entscheid sachgerecht angefochten werden kann (vgl. <ref-ruling> E. 2.2 S. 84; <ref-ruling> E. 5.2 S. 236 mit Hinweisen). Diese Grundsätze hat das Kantonsgericht eingehalten. Es hat namentlich aufgezeigt, dass die Interessen der Beschwerdeführer (hoher Wert, fehlende Versetzbarkeit des Baumes etc.) gegenüber den Interessen der Beschwerdegegner an der Beseitigung des Baumes (aufgrund der negativen Immissionen) nicht krass überwiegen. Es hat somit seine Überlegungen - wenn auch in knapper Form - genannt, und die Beschwerdeführer konnten den Entscheid sachgerecht anfechten. Eine Verletzung des Gehörsanspruchs ist zu verneinen.
4.4.3. Auch der materielle Einwand der Beschwerdeführer, wonach ihr Interesse am Bestand der Pflanze aufgrund des hohen Werts überwiegen, trifft ins Leere. In dem von den Beschwerdeführern zitierten Urteil 5D_80/2015 vom 7. September 2015 E. 3.2 führte das Bundesgericht im Zusammenhang mit der im Kanton Aargau vorgesehenen Befristung des Beseitigungsanspruchs aus, diese liege im öffentlichen Interesse an Rechtssicherheit. Es wäre mit dem Grundsatz von Treu und Glauben nicht vereinbar, dem Nachbarn das Recht zu geben, die Beseitigung von Bäumen und Sträuchern zu verlangen, die er während langer Zeit ohne Widerspruch geduldet habe, obwohl ihnen der gesetzliche Abstand fehle. Auch soll der Nachbar die Beseitigung der Pflanze nicht mehr verlangen können, wenn sie zu einem späteren Zeitpunkt gross und wertvoll geworden und eine Versetzung ohne erhebliche Kosten und Schädigung der Pflanze nicht mehr möglich sei. Nach einer gewissen Zeit überwiege das Interesse des Eigentümers am Bestand der Pflanze, während vom Nachbarn erwartet werden könne, dass er die Beseitigung der Pflanze innerhalb eines gewissen Zeitraums verlange. Aus dem zitierten Urteil geht deutlich hervor, dass ein allfälliger hoher Wert einer Pflanze erst dann von Relevanz sein kann, wenn die Nachbarn sie während langer Zeit ohne Widerspruch geduldet haben. Letztlich geht es hier gleichermassen um die Frage, ob den Beschwerdegegnern aufgrund des Zuwartens mit der Beseitigungsklage ein rechtsmissbräuchliches Verhalten vorgeworfen werden kann, womit kantonales Recht tangiert ist (vgl. E. 4.3.2). Die Beschwerdeführer werfen dem Kantonsgericht vor, bei der Entscheidfindung den genannten Bundesgerichtsentscheid nicht berücksichtigt zu haben. Sie zeigen jedoch nicht auf, inwiefern das Kantonsgericht willkürlich entschieden hat (vgl. E. 2.1). Auf die Rüge ist mithin nicht einzutreten.
5.
Aus den dargelegten Gründen muss die Beschwerde abgewiesen werden, soweit auf sie eingetreten werden kann. Die Beschwerdeführer werden damit kosten-, hingegen nicht entschädigungspflichtig, da keine Vernehmlassungen eingeholt wurden und die Beschwerdegegner sich nicht zum Gesuch um aufschiebende Wirkung geäussert haben (Art. 66 Abs. 1 und Art. 68 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2.
Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 20. Mai 2020
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Scheiwiller