Sachverhalt:
A.
A.a. Die Beschwerdeführer ersuchten als Gesuchskläger am 17. Juli 2014 das Zivilkreisgericht Basel-Landschaft Ost, den Beschwerdegegner als Gesuchsbeklagten zu verpflichten, vorsorglich die Warmwasserversorgung ihrer Liegenschaft wieder anzustellen und inskünftig störende Eingriffe in das Eigentum zu unterlassen. Mit Verfügung vom 17. Juli 2014 verpflichtete das Zivilkreisgericht den Beschwerdegegner superprovisorisch, die Warmwasserversorgung wieder anzulassen. Nach Gewährung des rechtlichen Gehörs hob das Zivilkreisgericht die superprovisorische Verfügung mit Urteil vom 9. Juli 2015 auf. Dagegen erhoben die Beschwerdeführer erfolglos Rechtsmittel an das Kantonsgericht Basel-Landschaft (Entscheid vom 24. November 2015) und an das Bundesgericht (Urteil 5A_44/2016 vom 25. April 2016).
A.b. Aufgrund eines Berichtigungsgesuchs des Beschwerdegegners vom 7. Juni 2016 bestimmte das Zivilkreisgericht mit Verfügung vom 11. Oktober 2016, dass das Urteilsrubrum des Urteils vom 9. Juli 2015, das bei den Parteiangaben als Gesuchskläger einzig A.A._ (Beschwerdeführer 1 im bundesgerichtlichen Verfahren) anführte, ergänzt werde mit den Gesuchsklägern 2 bis 4, nämlich B.A._, C.A._ und D.A._ (Beschwerdeführer 2 bis 4 des bundesgerichtlichen Verfahrens), alle vertreten durch Rechtsanwalt A.A._ (d.h. den Beschwerdeführer 1). Sodann hob das Zivilgericht mit dieser Verfügung Absatz 2 der Dispositivziffer 2 des "Urteils vom 19. Juli 2015" (recte: vom 9. Juli 2015) auf und ersetzte es durch die Anordnung, wonach die Gesuchskläger dem Gesuchsbeklagten in solidarischer Verbindung eine Parteientschädigung von Fr. 9'563.75 zu bezahlen haben. Aufgrund dieser Verfügung erliess das Zivilkreisgericht am 11. Oktober 2016 das Rektifikat des Urteils vom 9. Juli 2015.
B.
Mit Berufung vom 30. Oktober 2016 an das Kantonsgericht verlangten die Beschwerdeführer, es sei die Nichtigkeit des Urteils des Zivilkreisgerichts vom 9. Juli 2015 festzustellen. Die Verfügung und das Rektifikat vom 11. Oktober 2015 (recte: 2016) seien aufzuheben und das Berichtigungsgesuch des Beschwerdegegners abzuweisen. Am 15. Dezember 2016 verlangten sie zusätzlich die Aufhebung des Entscheids des Kantonsgerichts vom 24. November 2015 und die Einleitung diverser Strafverfahren. Mit Entscheid vom 17. Januar 2017 trat das Kantonsgericht auf die Berufung nicht ein.
C.
Gegen diesen Entscheid haben die Beschwerdeführer am 8. März 2017 Beschwerde in Zivilsachen oder subsidiäre Verfassungsbeschwerde an das Bundesgericht erhoben. Sie verlangen die ersatzlose Aufhebung des Entscheids vom 17. Januar 2017. Das Rektifikat vom 11. Oktober 2016 und das Urteil vom 9. Juli 2014 (recte: 2015) seien als nichtig zu erklären. Ausserdem verlangen sie eine Parteientschädigung von je Fr. 9'182.65. Am 15. Juni 2017 haben die Beschwerdeführer eine weitere Eingabe eingereicht.
Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Gegen den angefochtenen Entscheid des Kantonsgerichts ist die Beschwerde in Zivilsachen das zutreffende Rechtsmittel (Art. 72 Abs. 1, Art. 74 Abs. 1 lit. b, Art. 75 BGG; Urteil 5A_44/2016 vom 25. April 2016 E. 1.1). Die subsidiäre Verfassungsbeschwerde ist damit unzulässig (<ref-law>).
Gegenstand des angefochtenen Entscheids ist einzig das an das Zivilkreisgericht gerichtete Berichtigungsgesuch und das daraus erwachsene Verfahren. Die Beschwerdeführer erwähnen am Rande zusätzlich ein an das Kantonsgericht gerichtetes Berichtigungsgesuch des Beschwerdegegners hinsichtlich des kantonsgerichtlichen Urteils vom 24. November 2015. Ein entsprechendes Berichtigungsurteil haben sie jedoch nicht eingereicht, sondern einzig eine Zwischenverfügung des Kantonsgerichts vom 10. Juni 2016, mit denen den Beschwerdeführern die Berichtigung in Aussicht gestellt und ihnen das rechtliche Gehör gewährt wurde. Sofern ein solches Berichtigungsurteil durch das Kantonsgericht bereits bestehen sollte, wäre es somit nicht Gegenstand des bundesgerichtlichen Verfahrens, zumal diesbezüglich auch jegliche Beschwerdebegründung fehlt. Hinsichtlich der Verfügung vom 10. Juni 2016 ist mangels Anträgen und Begründung davon auszugehen, dass sie ebenfalls nicht Gegenstand des bundesgerichtlichen Verfahrens bildet.
1.2. Der angefochtene Entscheid betrifft die Berichtigung eines Urteils über vorsorgliche Massnahmen im Sinne von <ref-law> und damit einen Zwischenentscheid (vgl. Urteil 5A_44/2016 vom 25. April 2016 E. 1.2), der der Beschwerde an das Bundesgericht nur unterliegt, wenn er einen nicht wieder gutzumachenden Nachteil bewirken kann (<ref-law>; <ref-ruling> E. 1.1 S. 327 ff.). Soweit diese Voraussetzung nicht offenkundig erfüllt ist, haben die Beschwerdeführer in ihrer Eingabe darzutun, inwiefern sie einem nicht wieder gutzumachenden Nachteil ausgesetzt sein könnten und die Voraussetzungen der Zulässigkeit ihrer Beschwerde erfüllt sind (<ref-law>; <ref-ruling> E. 1.3 S. 525; <ref-ruling> E. 2.5 S. 400). Die Beschwerdeführer legen nicht dar, welcher nicht wieder gutzumachender Nachteil ihnen drohen könnte. Insbesondere machen sie nicht geltend, dass die Unterbrechung der Versorgung von vermieteten Wohnungen mit Warmwasser, die allerdings inhaltlich gar nicht mehr Gegenstand des Berichtigungsverfahrens ist (unten E. 1.3), immer noch drohen könnte. Angesichts der langen Zeitspanne seit der Ablehnung einer entsprechenden vorsorglichen Massnahme (im Urteil des Zivilkreisgerichts vom 9. Juli 2015) kann auch nicht mehr ohne weiteres davon ausgegangen werden, die Gefahr drohe nach wie vor (vgl. Urteil 5A_44/2016 vom 25. April 2016 E. 1.2, wo der Nachteil noch auf der Hand lag). Aus den Äusserungen der Beschwerdeführer lässt sich im Gegenteil eher ableiten, dass kein Nachteil mehr droht, da die Nachbarliegenschaften zwischenzeitlich verkauft worden seien. Kein Nachteil nach <ref-law> ergibt sich sodann aus den den Beschwerdeführern auferlegten Kosten (<ref-ruling> E. 1.2.2 S. 332 ff.).
Die Beschwerdeführer stellen vor Bundesgericht ein Ausstandsgesuch gegen Kantonsrichter J._. Dadurch wird der angefochtene Entscheid aber nicht zu einem Zwischenentscheid nach <ref-law>. Auf die Anträge vor Bundesgericht kommt es diesbezüglich nicht an, sondern einzig darauf, ob die Vorinstanz ein Ausstandsgesuch zu beurteilen hatte. Da das Kantonsgericht kein entsprechendes Gesuch zu behandeln hatte (vgl. dazu unten E. 1.3), ist der angefochtene Entscheid vom 17. Januar 2017 kein Zwischenentscheid über den Ausstand nach <ref-law> (Urteile 2C_507/2008 vom 14. Juli 2008E. 2.2; 1C_459/2008 vom 13. Januar 2009 E. 1.5).
Die Beschwerde erweist sich bereits aus diesen Gründen als unzulässig.
1.3. Im Übrigen genügt die Beschwerde auch den Begründungsanforderungen nicht. Da mit der Beschwerde gegen einen Entscheid über vorsorgliche Massnahmen einzig die Verletzung verfassungsmässiger Rechte gerügt werden kann (<ref-law>), muss die Beschwerdebegründung dem strengen Rügeprinzip von <ref-law> genügen (<ref-ruling> E. 2.4 S. 368 mit Hinweisen). Zu beachten ist in diesem Zusammenhang ausserdem, dass der von der Berichtigung nicht betroffene Teil des ersten Urteils nicht nochmals angefochten werden kann bzw. dass die Anfechtung des berichtigten Entscheids nicht dazu dienen kann, den ersten Entscheid nochmals in Frage zu stellen (<ref-ruling> E. 1.2.3 S. 168 f.; <ref-ruling> E. 3 S. 88; Urteil 4A_474/2012 vom 8. Februar 2013 E. 2 mit Hinweisen). Soweit die Beschwerdeführer demnach weiterhin an der Nichtigkeit des ersten Entscheids, d.h. des Urteils des Zivilkreisgerichts vom 9. Juli 2015, festhalten, kann darauf nicht zurückgekommen werden. Das Bundesgericht hat darüber bereits abschliessend befunden (Urteil 5A_44/2016 vom 25. April 2016 E. 2). Dies gilt auch insoweit, als sie aus der behaupteten Nichtigkeit des Urteils des Zivilkreisgerichts vom 9. Juli 2015 die Nichtigkeit des berichtigten Urteils ableiten. Die entsprechenden Anträge sind unzulässig und die entsprechenden Ausführungen nicht zu hören.
Die Beschwerdeführer lehnen sodann den Präsidenten des Kantonsgerichts, J._, der den angefochtenen Entscheid vom 17. Januar 2017 als Einzelrichter gefällt hat, als befangen ab, da erein Richterkollege des ebenfalls als Kantonsrichter amtierenden K._ sei, welcher den Beschwerdegegner früher vertreten hat. Ein solches Ablehnungsgesuch hätte jedoch vor Kantonsgericht erhoben werden können und müssen. Die Beschwerdeführer behaupten zwar am Rande, dies getan zu haben, belegen dies jedoch nicht mit detaillierten Aktenhinweisen. Das erst vor Bundesgericht gestellte Gesuch ist folglich verspätet. Darauf ist nicht einzugehen. Der Rechtsvertreter des Beschwerdegegners, Advokat Christoph Gäumann, kann sodann nicht wegen Befangenheit abgelehnt werden, weil er in derselben Kanzlei tätig ist wie K._.
Im Übrigen schildern die Beschwerdeführer den Sachverhalt aus ihrer eigenen Sicht, was unzulässig ist. Sie setzen sich nicht mit den Gründen auseinander, die das Kantonsgericht dazu bewogen haben, auf die Berufung nicht einzutreten, sondern stellen bloss, soweit überhaupt nachvollziehbar, ihre Rechtsauffassung (Zulässigkeit der Berufung) an die Stelle derjenigen des Kantonsgerichts. Dies genügt für eine Verfassungsrüge nicht. Am Rande behaupten sie insbesondere, die Verfügung des Zivilkreisgerichts vom 11. Oktober 2016 habe keine Rechtsmittelbelehrung enthalten. Sie leiten daraus jedoch nichts Konkretes ab und setzen sich auch insoweit nicht mit dem kantonsgerichtlichen Entscheid auseinander, welches diesen Einwand bereits behandelt hat. Soweit sie geltend machen, das Berichtigungsgesuch sei verspätet gewesen, so ist dies nicht Gegenstand des vorliegenden bundesgerichtlichen Verfahrens. In diesem wäre - genügende Rügen vorausgesetzt - einzig zu prüfen, ob das Kantonsgericht zu Recht auf die Berufung der Beschwerdeführer nicht eingetreten ist.
Unklar bleibt schliesslich, ob der Antrag auf Zusprechung einer Parteientschädigung von je Fr. 9'182.65 pro Beschwerdeführer, der sich offenbar auf das kantonale und nicht das bundesgerichtliche Verfahren bezieht, unabhängig vom Verfahrensausgang gestellt sein soll. Da der Antrag in diesem Punkt unklar ist und da er mit dem blossen Hinweis auf rechtsgleiche Behandlung ungenügend begründet ist, kann darauf nicht eingetreten werden.
Die Beschwerde geht folglich grösstenteils am Verfahrensgegenstand vorbei und enthält offensichtlich keine hinreichende Begründung. Im Übrigen bewegt sie sich am Rande des Querulatorischen.
1.4. Auf die Beschwerde ist somit nicht einzutreten.
2.
Bei diesem Ausgang des Verfahrens tragen die Beschwerdeführer die Gerichtskosten unter solidarischer Haftung (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht Basel-Landschaft, Abteilung Zivilrecht, schriftlich mitgeteilt.
Lausanne, 8. März 2018
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Zingg