Sachverhalt:
A.
A.a. Am 28. Mai 2015 reichten A._ (Kläger) beim Bezirksgericht Appenzell I.Rh. gegen B._ (Beklagter) Klage ein mit dem Begehren, der Beklagte sei zu verpflichten, innert 30 Tagen nach Eintritt der Rechtskraft des Entscheides die Grünhecke im südöstlichen Bereich des Grundstücks Nr. xxx eingetragen im Grundbuch Appenzell, entlang der gemeinsamen Grenze zum Grundstück Nr. yyy, auf der Höhe von zwei Metern ab dem gewachsenen Terrain, welches 811.3 m.ü.M. entspreche, zurückzuschneiden.
A.b. An der Verhandlung vom 24. November 2015 teilten die Kläger dem Gericht mit, der Beklagte habe sich dahingehend geäussert, sein Sohn werde die Liegenschaft nächstens übernehmen. Sie ersuchten daher um Sistierung des Verfahrens, welchem Antrag das Gericht am 24. November 2015 mit einer Sistierung des Verfahrens bis zum 30. April 2016 entsprach. In ihrem Schreiben vom 11. Juli 2016 eröffneten die Kläger dem Gericht, die Parteien bzw. ihre Söhne befänden sich in Verhandlungen zwecks Erarbeitung einer Lösung für die Zukunft. Aufgrund des Antrages der Kläger wurde das Verfahren weiterhin bis zum 31. Dezember 2016 sistiert.
A.c. Mit Schreiben vom 5. Januar 2017 teilten die Kläger dem Gericht mit, der Beklagte habe zwischenzeitlich dem Klagebegehren entsprochen. Sie beantragten daher, das Verfahren infolge Klageanerkennung als gegenstandslos abzuschreiben und die Kosten des Verfahrens dem Beklagten aufzuerlegen. Der Beklagte ersuchte das Gericht mit Schreiben vom 16. Januar 2017, aufgrund der Akten "nach seinem Begehren vom 15. September 2015 zu entscheiden".
A.d. Am 26. Januar 2017 schrieb der Präsident des Bezirksgerichts das Verfahren infolge Gegenstandslosigkeit ab, überband die Gerichtskosten dem Beklagten und verpflichtete ihn, den Klägern eine Parteientschädigung zu bezahlen.
A.e. Am 30. Januar 2017 teilte der Beklagte dem Gericht mit, er akzeptiere den Entscheid vom 26. Januar 2017 nicht. Weiter liess er sich dahingehend verlauten, er habe die Hecke nicht zurückgeschnittenund im Übrigen das Grundstück am 13. Oktober 2016 an seinen Sohn verkauft. Auch die Kläger veräusserten ihre Liegenschaft an ihren Sohn. Mit Entscheid vom 28. Februar 2017 schrieb das Bezirksgericht das Verfahren als gegenstandslos ab (1). Die Gerichtskosten von Fr. 2'700.-- wurden im Umfang von Fr. 1'800.-- mit dem Kostenvorschuss der Kläger verrechnet und ihnen das Recht eingeräumt, in diesem Umfang auf den Beklagten Rückgriff zu nehmen. Der Fehlbetrag von Fr. 900.-- wurde vom Beklagten nachgefordert (2). Der Beklagte wurde überdies verpflichtet, die Kläger mit Fr. 2'201.45 zu entschädigen (3).
B.
Der Beklagte gelangte dagegen mit Beschwerde vom 31. März 2017 an das Kantonsgericht Appenzell I.Rh. mit den Begehren, die Ziffern 2 und 3 des Entscheides der ersten Instanz aufzuheben; die Gerichtskosten von Fr. 2'700.-- für das erstinstanzliche Verfahren seien den Klägern aufzuerlegen. Die Kläger schlossen auf Abweisung der Beschwerde. Mit Entscheid vom 27. Juni 2017 hiess das Kantonsgericht die Beschwerde gut, hob die Ziffern 2 und 3 des erstinstanzlichen Entscheides auf und auferlegte die Gerichtskosten von Fr. 2'700.-- für das erstinstanzliche Verfahren unter solidarischer Haftbarkeit den Klägern, wobei es ihnen den geleisteten Kostenvorschuss anrechnete. Das Kantonsgericht ging davon aus, die Kläger hätten Anlass zur Abschreibung des Verfahrens infolge Gegenstandslosigkeit gegeben, weshalb ihnen die Gerichtskosten aufzuerlegen seien.
C.
Die Kläger (Beschwerdeführer) haben am 31. Juli 2017 (Postaufgabe) beim Bundesgericht gegen den Entscheid des Kantonsgerichts Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde eingereicht. Sie beantragen, den Entscheid des Kantonsgerichts aufzuheben und den Kostenentscheid des Bezirksgerichts Appenzell I.Rh. vom 28. Februar 2017 zu bestätigen. Es sind keine Vernehmlassungen eingeholt worden.

Erwägungen:
1.
1.1. Angefochten ist der verfahrensabschliessende Entscheid eines oberen kantonalen Gerichts in seiner Eigenschaft als Rechtsmittelinstanz (Art. 75 Abs. 1 und Art. 90 BGG). Die Frage der Verlegung der Gerichtskosten kann grundsätzlich mit dem in der Hauptsache zulässigen Rechtsmittel angefochten werden (<ref-ruling> betreffend die Parteientschädigung; Urteil 4A_146/2011 vom 12. Mai 2011 E. 1.3 die Gerichtskosten betreffend). War jedoch - wie hier - vor der letzten kantonalen Instanz nur die Verlegung der Verfahrenskosten strittig, bemisst sich der Streitwert nach deren Höhe und nicht nach jenem der Hauptsache (Klage nach Art. 679 i.V.m. <ref-law>; <ref-law>; <ref-ruling> E. 1; Urteile 5A_261/2013 vom 19. September 2013 E. 1 mit Hinweisen; 4A_467/2014 vom 21. Oktober 2014 E. 1.2).
1.2.
1.2.1. Die Beschwerde in Zivilsachen ist damit für die Frage der Kostenverlegung nicht gegeben, es sei denn, es stelle sich eine Rechtsfrage von grundsätzlicher Bedeutung (<ref-law>). Diese Voraussetzung ist erfüllt, wenn ein allgemeines Interesse besteht, dass eine umstrittene Frage höchstrichterlich geklärt wird, um eine einheitliche Anwendung und Auslegung des Bundesrechts herbeizuführen und damit Rechtssicherheit herzustellen. Soweit es bei der zu beurteilenden Frage hingegen lediglich um die Anwendung von Grundsätzen der Rechtsprechung auf den konkreten Fall geht, handelt es sich nicht um eine Rechtsfrage von grundsätzlicher Bedeutung (<ref-ruling> E. 1.4.1; <ref-ruling> E. 1.3; <ref-ruling> E. 1.3 und 397 E. 1.2). Warum diese Voraussetzung erfüllt ist, hat der Beschwerdeführer zu begründen (<ref-law>).
1.2.2. Nach Auffassung der Beschwerdeführer stellt sich im vorliegenden Fall als Erstes die Frage, ob die Veräusserung des Streitgegenstandes durch die Kläger (hier die Beschwerdeführer) zum Verlust des Rechtsschutzinteresses führt und wenn ja, ob das Rechtsschutzinteresse bereits entfallen ist und gestützt darauf das Verfahren abgeschrieben werden darf, solange der Parteiwechsel nach <ref-law> noch möglich ist. Schliesslich fragen sich die Beschwerdeführer, wie die Kostenverlegung vorzunehmen sei, wenn im Zeitpunkt des Entscheides bei unterschiedlicher Verantwortlichkeit sowohl eine Gegenstandslosigkeit mangels Rechtsschutzinteresses wie auch infolge Untergangs des Streitgegenstandes vorliege.
1.2.3. Die erste Instanz hat das Verfahren als gegenstandslos abgeschrieben, und die Parteien haben den Entscheid diesbezüglich beim Kantonsgericht nicht angefochten. Dieser Punkt ist auch vor Bundesgericht nicht strittig, womit es bei der Abschreibung infolge Gegenstandslosigkeit des Verfahrens bleibt. Dem angefochtenen Entscheid kann nicht entnommen werden, dass der Beschwerdegegner dem Hauptbegehren der Klage auf Rückschneidung der Hecke vor dem Abschreibungsentscheid der ersten Instanz entsprochen hätte. Vielmehr steht aufgrund der Akten fest, dass er in seinem Schreiben vom 30. Januar 2017 eine Erfüllung des Klagebegehrens ausdrücklich bestritten hat. Erstellt ist indes, dass die Beschwerdeführer ihre Liegenschaft vor dem Entscheid des Bezirksgerichts an ihren Sohn verkauft haben. Dem angefochtenen Entscheid lässt sich nicht entnehmen, dass der Erwerber gestützt auf <ref-law> in den Prozess eingetreten wäre, was von den Beschwerdeführern im Übrigen auch nicht substantiiert behauptet worden ist. Ebensowenig wurde im angefochtenen Entscheid festgestellt, dass sie die Liegenschaft als Mieter weiter bewohnen. Damit aber stellen sich die von den Beschwerdeführern aufgeworfenen Rechtsfragen im vorliegenden Fall nicht.
1.2.4. Zulässig ist damit einzig die subsidiäre Verfassungsbeschwerde (<ref-law>). Die Beschwerdeführer erfüllen die Voraussetzungen von Art. 113 i.V.m. <ref-law>. Auf die fristgerecht erhobene Verfassungsbeschwerde (Art. 117 i.V.m. <ref-law>) ist grundsätzlich einzutreten.
1.2.5. In der subsidiären Verfassungsbeschwerde ist die Rüge der Verletzung verfassungsmässiger Rechte vorzubringen und zu begründen (Art. 117 i.V.m. <ref-law> sowie <ref-law>); es ist anhand der Erwägungen des Entscheides der letzten kantonalen Instanz klar und detailliert darzulegen, welche verfassungsmässigen Rechte und inwiefern sie durch diesen Entscheid verletzt sein sollen. Auf rein appellatorische Kritik tritt das Bundesgericht nicht ein (<ref-ruling> E. 3.1 S. 399).
2.
2.1. Das Kantonsgericht hat im Wesentlichen erwogen, aus den vorinstanzlichen Akten ergäben sich diverse Hinweise, dass auf beiden Seiten der Parteien Änderung mit Bezug auf das Eigentum an den Liegenschaften im Raum gestanden hätten. So sei bereits bei der Gerichtsverhandlung vom 24. November 2015 bekannt gegeben worden, dass der Sohn des Beschwerdegegners dessen Liegenschaft übernehme, was schliesslich zur Sistierung des Verfahrens geführt habe. Dass auch die Beschwerdeführer ihre Liegenschaft an ihren Sohn zu veräussern gedachten, habe der Rechtsvertreter der Beschwerdeführer in seinem Schreiben vom 11. Juli 2016 angedeutet. Aufgrund der Hinweise hätte die erste Instanz spätestens vor ihrem Entscheid vom 28. Februar 2017 von Amtes wegen prüfen müssen, ob die Parteien noch Eigentümer der Liegenschaften seien. Mit der Übertragung des Eigentums an ihren Sohn vor dem Entscheid vom 28. Februar 2017 hätten die Beschwerdeführer ihr Rechtsschutzinteresse an der klageweise geltend gemachten Beseitigung der Grünhecke verloren. Die erste Instanz hätte daher das Klageverfahren wegen Wegfalls des Rechtsschutzinteresses der Kläger als gegenstandslos abschreiben und die Verfahrenskosten nach <ref-law> verlegen müssen. Den Verlust des Rechtsschutzinteresses hätten die Beschwerdeführer durch die Veräusserung ihrer Liegenschaft selbst herbeigeführt, weshalb die Prozesskosten ihnen zu überbinden gewesen wären. Die erste Instanz habe jedoch zu Unrecht die Abschreibung mit der Klageanerkennung durch die Beschwerdegegner begründet und ihm dementsprechend die Verfahrenskosten auferlegt.
2.2. Die Beschwerdeführer machen geltend, die Vorinstanz verfalle in Willkür, indem sie ohne weitere Prüfung davon ausgehe, mangels Eigentümerstellung fehle es ihnen an einem Rechtsschutzinteresse an der Klage. Insbesondere seien auch Mieter, welche die Liegenschaft weiter bewohnen, zu Klagen nach Art. 679 i.V.m. <ref-law> legitimiert. Willkürlich sei der Entscheid überdies, da die Vorinstanz die Sachlegitimation mit dem Rechtsschutzinteresse gleichsetze. Entgegen der Auffassung der Vorinstanz sei die Aktivlegitimation keine Prozessvoraussetzung, sondern betreffe das materielle Recht. Soweit die Aktivlegitimation der Beschwerdeführer infolge Verkaufs der Liegenschaft an den Sohn der Beschwerdeführer überhaupt weggefallen wäre, hätte der Erwerber mittels Erklärung gegenüber dem Gericht in den Prozess eintreten können (<ref-law>), womit die Sachlegitimation wieder vorgelegen hätte. Anderseits wäre das Verfahren bei Wegfall der Aktivlegitimation nicht als gegenstandslos abzuschreiben, sondern die Klage abzuweisen gewesen. Ein solcher Abschluss des Verfahrens sei aber vorliegend nicht mehr möglich gewesen, zumal der Beschwerdegegner die Hecke bereits zurückgeschnitten habe. Mit der Überbindung der Kosten an die Beschwerdeführer habe die Vorinstanz in willkürlicher Weise übersehen, dass der Beschwerdegegner das Hauptbegehren während hängigem Verfahren bereits erfüllt habe, womit das Verfahren bereits deshalb gegenstandslos geworden sei. Die Beschwerdeführer erachten daher die Kostenverlegung zu ihren Lasten als willkürlich.
2.3.
2.3.1. Im vorliegenden Fall haben die Parteien die Abschreibung des Verfahrens infolge Gegenstandslosigkeit weder vor der letzten kantonalen Instanz noch vor Bundesgericht angefochten. Nach Art. 107 Abs. 1 i.V.m. Abs. 1 lit. e ZPO kann das Gericht von den Verteilungsgrundsätzen (Marginalie zu <ref-law>) abweichen und die Prozesskosten nach seinem Ermessen verteilen, wenn das Verfahren als gegenstandslos abgeschrieben wird und das Gesetz nichts anderes vorsieht. Bei der Überprüfung dieses Ermessensentscheides auferlegt sich das Bundesgericht Zurückhaltung. Es schreitet nur ein, wenn die kantonale Instanz von ihrem Ermessen offensichtlich falschen Gebrauch gemacht hat. Das ist insbesondere dann der Fall, wenn sie Gesichtspunkte berücksichtigt hat, die keine Rolle hätten spielen dürfen, wenn sie umgekehrt rechtserhebliche Umstände ausser Acht gelassen hat oder wenn sich der Ermessensentscheid im Ergebnis als offensichtlich unbillig oder ungerecht erweist (<ref-ruling> E. 4.5 S. 617; <ref-ruling> E. 2.2.1 S. 279; <ref-ruling>21 E. 2; <ref-ruling> E. 5.4 S. 211). Was das vorliegende Verfahren angeht, ist überdies zu beachten, dass die Beschwerdeführer nur die Verletzung verfassungsmässiger Rechte rügen können.
2.3.2. Im vorliegenden Fall ist in tatsächlicher Hinsicht erstellt, dass der Beschwerdegegner dem Hauptbegehren der Klage auf Rückschneidung der Hecke vor dem Abschreibungsentscheid der ersten Instanz nicht entsprochen hat. Auszugehen ist ferner davon, dass die Beschwerdeführer ihre Liegenschaft vor dem Entscheid des Bezirksgerichts an ihrem Sohn verkauft haben. Ein Eintritt des Erwerbers in den Prozess (<ref-law>) sowie die Tatsache, dass die Beschwerdeführer die verkaufte Liegenschaft als Mieter weiter bewohnen, wurden nicht verbindlich festgestellt. Bei dieser tatsächlichen Ausgangslage ist die Annahme der Vorinstanz nicht willkürlich, die Beschwerdeführer hätten das Rechtsschutzinteresse verloren und den Verlust durch die Veräusserung ihrer Liegenschaft selbst herbeigeführt. Die Kostenverlegung zulasten der Beschwerdeführer beruht demnach auf einer willkürfreien Ausübung des Ermessens (zum Willkürbegriff: <ref-ruling> E. 4.2 S. 516).
3.
Damit ist die subsidiäre Verfassungsbeschwerde abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer zu gleichen Teilen kostenpflichtig. Sie haften jedoch für den Gesamtbetrag solidarisch (Art. 66 Abs. 1 i.V.m. <ref-law>). Sie haben den Beschwerdegegner für das bundesgerichtliche Verfahren nicht zu entschädigen, da keine Vernehmlassung eingeholt worden ist.

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde in Zivilsachen wird nicht eingetreten. Die subsidiäre Verfassungsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern zu gleichen Teilen auferlegt, wobei sie für den Gesamtbetrag solidarisch haften.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht Appenzell I.Rh., Kommission für allgemeine Beschwerden, schriftlich mitgeteilt.
Lausanne, 6. November 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Zbinden