Sachverhalt:
A. C._ und D._ sind Miteigentümer des Grundstückes Nr. 1 in Schmerikon, welches an das Grundstück Nr. 2, im Miteigentum von A._ und B._, angrenzt. Im Rahmen eines Zivilverfahrens vor dem Kreisgericht Gaster-See schlossen die Nachbarn am 31. Oktober 2008 folgenden gerichtlichen Vergleich:
"1. Auf der gemeinsamen Grundstücksgrenze (Grundstücke Nr. 1 und Nr. 2, Grundbuch Schmerikon) und gegenüber der nördlichen bzw. südlichen Grenze des Grundstücks Nr. 1 werden die Beklagten [A._ und B._] eine durchgehende Holzwand erstellen.
2. Die Holzwand wird entlang der Grenze im Abstand von 9 cm und in einer Höhe von 1.80 m erstellt; gemäss Grenzabstände von Einfriedungen und Anpflanzungen der Gemeinde Schmerikon. Die Beklagten verpflichten sich, allfällige Anpflanzungen entlang der Holzwand die Höhe von 1.80 m nicht überschreiten zu lassen.
3. Sämtliche Thujas, die den Grenzabstand von 9 cm verletzen, werden durch die Beklagten vollständig entfernt bis 31. März 2009.
4. Die Holzwand wird bis 31. März 2009 erstellt. [...]
5. [...] und 6. [...]".
B. Am 26. Juni 2009 ersuchten C._ und D._ das Kreisgericht See-Gaster um Vollstreckung des gerichtlichen Vergleichs. Sie verlangten insbesondere, dass A._ und B._ aufzufordern seien, sämtliche Pflanzen entlang der Holzwand auf ihrem Grundstück, welche die Höhe von 1.80 m überschreiten, unverzüglich zu entfernen und das Aufstellen solcher Pflanzen wie auch anderer Objekte künftig zu unterlassen. Mit Entscheid vom 20. August 2009 wies der Einzelrichter dieses Begehren ab.
C. C._ und D._ gelangten daraufhin an das Kantonsgericht St. Gallen, welches ihren Rekurs am 20. Januar 2010 guthiess und A._ und B._ anwies, sämtliche Pflanzen auf ihrem Grundstück, welche die Höhe von 1.80 m überschreiten und entlang der Holzwand bis 6 m ab der gemeinsamen Grundstücksgrenze angepflanzt oder aufgestellt sind, unverzüglich zu entfernen. Für den Fall der Nichtbeachtung wurde A._ und B._ eine Busse angedroht.
D. A._ und B._ sind mit subsidiärer Verfassungsbeschwerde vom 16. Februar 2010 an das Bundesgericht gelangt. Die Beschwerdeführer beantragen die Aufhebung des kantonsgerichtlichen Entscheides und die Rückweisung der Sache zu neuem Entscheid.
Mit Präsidialverfügung vom 3. März 2010 ist dem Gesuch um aufschiebende Wirkung in Bezug auf den Befehl auf Beseitigung samt Strafandrohung stattgegeben worden, hingegen ist es in Bezug auf die Kosten- und Entschädigungsfolgen des kantonalen Verfahrens abgewiesen worden.
In der Sache sind von C._ und D._ (nachfolgend: Beschwerdegegner) sowie vom Kantonsgericht keine Stellungnahmen eingeholt worden.
Erwägungen:
1. 1.1 Angefochten ist ein kantonal letztinstanzlicher Entscheid über die Vollstreckung eines gerichtlichen Vergleichs in einer Zivilsache mit Vermögenswert. Gegen diesen öffentlich-rechtlichen Endentscheid, der in unmittelbarem Zusammenhang mit dem Zivilrecht steht, ist die Beschwerde in Zivilsachen gegeben, sofern die gesetzliche Streitwertgrenze erreicht ist (Art. 72 Abs. 2 lit. b Ziff. 1, Art. 74 Abs. 1 lit. b BGG; Urteile 5D_38/2007 vom 17. Juli 2007 E. 1.2, 4A_31/2008 vom 6. März 2008 E. 1). Dies ist vorliegend nicht der Fall.
1.2 Hingegen steht die subsidiäre Verfassungsbeschwerde zur Verfügung (Art. 113 BGG). Damit kann einzig die Verletzung verfassungsmässiger Rechte geltend gemacht werden (Art. 116 BGG). Das Bundesgericht nimmt zudem keine Rechtsanwendung von Amtes wegen vor und prüft nur die jeweils erhobenen Rügen, welche vom Beschwerdeführer klar und einlässlich zu begründen sind (Art. 106 Abs. 2 i.V.m. Art. 117 BGG). Wird die Verletzung des Willkürverbotes geltend gemacht, so hat der Beschwerdeführer anhand des angefochtenen Entscheides im Einzelnen darzulegen, inwiefern dieser im Ergebnis an einem qualifizierten Mangel leidet (BGE 135 III 232 E. 1.2 S. 234; 133 III 393 E. 6 S. 397).
2. 2.1 Gegenstand des vorliegenden Verfahrens bildet ausschliesslich die von der Vorinstanz angeordnete Vollstreckung eines gerichtlichen Vergleichs. Hingegen nimmt das Bundesgericht grundsätzlich keine materielle Überprüfung eines Sachentscheides vor. Unter bestimmten Voraussetzungen macht es allerdings auch unter neuem Recht hier Ausnahmen, nämlich wenn ein Beschwerdeführer die Verletzung unverjährbarer und unverzichtbarer Rechte geltend macht oder der Sachentscheid sich als geradezu nichtig erweist (5D_38/2007 vom 17. Juli 2007 E. 2 mit Hinweis auf BGE 119 Ib 492 E. 3c/cc S. 499). Beides ist vorliegend nicht der Fall.
2.2 Die Vollstreckung von Urteilen einschliesslich gerichtlicher Vergleiche, die nicht auf Geldzahlung oder Sicherheitsleitung lauten, richtet sich nach kantonalem Prozessrecht und zwar unabhängig davon, ob sie in Anwendung von Bundesrecht ergangen sind (Urteil 4A_31/2008 vom 6. März 2008 E. 3.1, in: sic! 2008 S. 544). Auf dem Wege der Schuldbetreibung werden hingegen die Zwangsvollstreckungen durchgeführt, welche auf eine Geldzahlung oder eine Sicherheitsleistung gerichtet sind (Art. 38 Abs. 1 SchKG).
3. Die Vorinstanz stellte fest, dass der gerichtliche Vergleich vom 31. Oktober 2008 ungenau bzw. unvollständig abgefasst worden sei. Zur Vermeidung von offenkundig nicht beabsichtigen Ergebnissen müsse auch im Vollstreckungsverfahren in eingeschränktem Umfang eine Auslegung möglich und zulässig sein. Unter dem Begriff "Anpflanzungen" seien nicht nur im Boden verwurzelte Gewächse, sondern auch Topfpflanzen gemeint. Jede andere Auslegung ergebe keinen Sinn. Zudem seien mit "entlang der Holzwand" die Grenzabstände der Standortgemeinde Schmerikon gemeint, welche 6 m betragen. Nur so könne das mit dem Abschluss des Vergleichs angestrebte Ziel erreicht werden, den Nachbarn die Aussicht zu gewährleisten. Die Vorinstanz wies die Beschwerdeführer daher an, sämtliche Pflanzen auf ihrem Grundstück, welche die Höhe von 1.80 m überschreiten und entlang der Holzwand von 6 m ab der gemeinsamen Grundstücksgrenze angepflanzt oder aufgestellt wind, unverzüglich zu entfernen.
3.1 Die Beschwerdeführer werfen der Vorinstanz vor, sie habe keinen Augenschein vorgenommen und somit die Höhe der Holzwand und der Pflanzen nicht festgestellt. Ihre Topfpflanzen überschritten die Höhe von 1.80 m gar nicht. Auf Grund welcher kantonalen Vorschrift die Vorinstanz in einem Vollstreckungsverfahren einen Augenschein hätte durchführen müssen, legen die Beschwerdeführer nicht dar. Zudem übergehen sie, dass die vorinstanzliche Feststellung, dass die Topfpflanzen nur rund einen Meter von der Holzwand entfernt aufgestellt sind und darüber hinausragen, unter Hinweis auf die von ihnen selber im Rekursverfahren eingereichten Fotos getroffen worden ist. Die Vorbringen der Beschwerdeführer genügen den Begründungsanforderungen an eine Verfassungsbeschwerde daher in keiner Weise.
3.2 Weiter machen die Beschwerdeführer nicht geltend, dass die Vorinstanz gemäss dem anwendbaren kantonalen Verfahrensrecht zur Auslegung des gerichtlichen Vergleichs nicht berechtigt gewesen wäre. Sie wehren sich auch nicht gegen die vorinstanzliche Beurteilung, dass dieser ungenau bzw. unvollständig abgefasst worden sei. Hingegen rügen sie die von der Vorinstanz vorgenommene Auslegung des gerichtlichen Vergleichs als willkürlich.
Nach Ansicht der Beschwerdeführer ist es willkürlich, ihre Topfpflanzen den im Vergleich erwähnten Anpflanzungen gleich zu stellen. Auf diese Weise werde in die Vertragsfreiheit eingegriffen. Dabei übergehen die Beschwerdeführer den Zweck des gerichtlichen Vergleichs, nämlich den Beschwerdegegnern die Aussicht zu sichern, indem eine Maximalhöhe der Anpflanzungen festgelegt wird. Sie legen nicht rechtsgenüglich dar, weshalb nur in der Erde verwurzelte Pflanzen und nicht auch Topfpflanzen den Nachbarn die Aussicht nehmen können. Insoweit gehen ihre Ausführungen zu Art. 98 EGzZGB/SG und Art. 688 ZGB an der Sache vorbei. Zudem untersagte die Vorinstanz den Beschwerdeführern nicht generell das Aufstellen von Topfpflanzen auf ihrem Grundstück, sondern nur soweit sie die im Vergleich bereits festgelegte Höhe überschreiten. In diesem Zusammenhang steht auch die Ergänzung des Vergleichs durch den Grenzabstand von 6 m gemäss der kommunalen Regelung. Inwieweit die Vorinstanz hier eine dem Zweck des gerichtlichen Vergleichs widersprechende und daher willkürliche Auslegung bzw. Abänderung des Sachentscheides vorgenommen haben soll, legen die Beschwerdeführer nicht dar.
3.3 Die Beschwerdeführer berufen sich zudem auf die Eigentumsgarantie (Art. 26 BV) und rufen weitere Verfassungsbestimmungen an (Art. 35 Abs. 3 und Art. 36 Abs. 3 BV). Die diesbezüglichen Vorbringen erschöpfen sich im Wesentlichen in der Darlegung des nachbarlichen Konfliktes und in der Kritik an der vorinstanzlichen Auslegung des gerichtlichen Vergleiches, ohne dass erkennbar wird, inwieweit ihnen nebst der Willkürrügen eine selbständige Bedeutung zukommen sollte.
4. Schliesslich werfen die Beschwerdeführer der Vorinstanz vor, die amtlichen und ausseramtlichen Kosten in Verletzung des Erfolgsprinzips verlegt zu haben. Die hier angerufene Bestimmung (Art. 263 ZPO/SG) umschreibt allerdings die Parteikosten und äussert sich nicht zu deren Tragung. Zudem wird nicht dargetan, wie sich das nicht nur auf Pflanzen sondern auch andere Objekte lautende Vollstreckungs- und Rekursbegehren auf die Höhe der Kosten ausgewirkt haben sollte. Wohl trägt nach Art. 264 ZPO/SG die Prozesskosten, wer mit seinem Begehren unterliegt, soweit das Gesetz nichts anderes bestimmt. Dies entspricht den allgemeinen Regeln der Verlegung der Gerichts- und Parteikosten im Zivilprozess. Massgebend ist das Erfolgsprinzip, auf der Vermutung beruhend, dass die unterliegende Partei die Kosten verursacht hat (BGE 119 Ia 1 E. 6b S. 2). Eine willkürliche Anwendung kantonalen Verfahrensrechts wird vorliegend nicht erkennbar. Die Beschwerdeführer legen insbesondere nicht dar, inwiefern vor dem Hintergrund ihres Unterliegens im Begehren betreffend Entfernen der Pflanzen und dem gesamten Ausgang des Verfahrens im Ergebnis geradezu unhaltbar sei, wenn sie die Vorinstanz als vollumfänglich unterliegende Partei erachtet hat. Insoweit kann auf diese Rüge mangels rechtsgenüglicher Begründung nicht eingetreten werden.
5. Der Verfassungsbeschwerde ist nach dem Gesagten insgesamt kein Erfolg beschieden. Ausgangsgemäss tragen die Beschwerdeführer die Kosten (Art. 66 Abs. 1 und Abs. 5 BGG). Eine Parteientschädigung an die Beschwerdegegner ist nicht geschuldet, da sie in der Sache nicht zur Vernehmlassung eingeladen worden sind (Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die Verfassungsbeschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführerin solidarisch auferlegt.
3. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Einzelrichter für Rekurse im Personen-, Erb- und Sachenrecht, schriftlich mitgeteilt.
Lausanne, 7. Mai 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Levante