Sachverhalt:
A.
A.a. B.A._ und A.A._ (Beschwerdeführer) sind die Eltern der Söhne C.A._ (geb. 2007) und D.A._ (geb. 2009). Am 15. Oktober 2014 schied das Bezirksgericht V._ ihre Ehe. Die Ehegatten hatten sich bereits im Juni 2011 getrennt.
A.b. Noch während der Trennung hatte die damalige Vormundschaftsbehörde V._ für C.A._ und D.A._ im Hinblick auf das Besuchsrecht des Vaters eine Beistandschaft errichtet. Diese Beistandschaft war am 22. August 2012 nach einem Wohnsitzwechsel der die Kinder betreuenden Mutter von der damaligen Vormundschaftsbehörde U._ und heutigen Kindes- und Erwachsenenschutzbehörde U._ (KESB) übernommen und weitergeführt worden. Im Scheidungsurteil wurden die Kinder unter die alleinige elterliche Sorge der Mutter gestellt; der Vater erhielt ein Besuchsrecht, das später in zeitlicher Hinsicht beschränkt wurde. Ausserdem ordnete das Bezirksgericht eine Besuchsrechtsbeistandschaft an. Am 10. Februar 2015 wies die KESB A.A._ an, die Kontakte zu seinen Söhnen persönlich wahrzunehmen und am 1. Januar 2016 ernannte sie E._, Kinder- und Jugendschutz U._, zum Beistand.
A.c. Mit Gesuch vom 24. Juli 2017 beantragte A.A._ einen Wechsel der Beistandsperson. Die KESB wies dieses Gesuch mit Entscheid vom 28. September 2017 ab.
B.
Die hiergegen von A.A._ beim Kantonsgericht Luzern eingereichte Beschwerde wies dieses mit Urteil vom 23. April 2018 (eröffnet am 2. Mai 2018) ab, soweit es darauf eintrat.
C.
Mit Beschwerde vom 1. Juni 2018 gelangt A.A._ an das Bundesgericht. Er beantragt, es sei das Urteil des Kantonsgerichts aufzuheben und dem Antrag auf Wechsel der Beistandsperson stattzugeben.
Das Bundesgericht hat die Akten des kantonalen Verfahrens, indes keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Angefochten ist ein Endentscheid (<ref-law>) einer letzten kantonalen Instanz, die als oberes Gericht (<ref-law>) über den Wechsel des Beistands zweier minderjähriger Kinder entschieden hat. Hierbei handelt es sich um eine öffentlich-rechtliche Angelegenheit in unmittelbarem Zusammenhang mit dem Zivilrecht nach Art. 72 Abs. 2 Bst. b Ziff. 6 BGG ohne Streitwert. Die Beschwerde in Zivilsachen ist das zutreffende Rechtsmittel. Der Beschwerdeführer ist gemäss <ref-law> zur Beschwerde berechtigt (vgl. Urteil 5A_954/2013 vom 11. August 2014 E. 1). Auf die auch fristgerecht erhobene (<ref-law>) Beschwerde ist damit unter Vorbehalt der nachfolgenden Ausführungen einzutreten.
1.2. Mit der Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 f. BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>) und prüft mit freier Kognition, ob der angefochtene Entscheid Recht verletzt. Es befasst sich aber nur mit formell ausreichend begründeten Einwänden (vgl. <ref-law>). In der Beschwerdebegründung ist daher in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid rechtswidrig sein soll. Die Begründung muss sachbezogen sein und sich auf den Streitgegenstand beziehen und beschränken; die beschwerdeführende Partei hat in gezielter Auseinandersetzung mit den für das Ergebnis des angefochtenen Entscheids massgeblichen Erwägungen plausibel aufzuzeigen, welche Rechte bzw. Rechtsnormen die Vorinstanz verletzt haben soll (<ref-ruling> E. 2, 115 E. 2).
Was den Sachverhalt angeht, legt das Bundesgericht seinem Urteil die vorinstanzlichen Feststellungen zugrunde (vgl. <ref-law>). Diesbezüglich kann die rechtsuchende Partei nur vorbringen, die vorinstanzlichen Feststellungen seien offensichtlich unrichtig, das heisst willkürlich, oder würden auf einer anderen Bundesrechtsverletzung im Sinn von <ref-law> (z.B. Verletzung von <ref-law> oder <ref-law>) beruhen. In der Beschwerde ist überdies darzutun, inwiefern die Behebung der gerügten Mängel für den Ausgang des Verfahrens entscheidend sein kann (vgl. Art. 97 Abs. 1 und 105 Abs. 2 BGG). Es gilt das strenge Rügeprinzip nach <ref-law>. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen, während es auf ungenügend substanziierte Rügen und rein appellatorische Kritik am Sachverhalt nicht eintritt (<ref-ruling> E. 1.3.1, 317 E. 5.4; <ref-ruling> E. 2.3 S. 266).
2.
Strittig ist die Abweisung des Gesuchs des Beschwerdeführers um Wechsel der Beistandsperson.
Für die Kinder des Beschwerdeführers besteht im Zusammenhang mit dessen Besuchsrecht eine Beistandschaft nach <ref-law> (vorne Bst. A.b). Die Beistandschaft als solche und deren Ausgestaltung sind nicht umstritten. Im Gesetz findet sich für die Beistandschaft nach <ref-law> keine Regelung betreffend die Entlassung und damit den Wechsel der Beistandsperson. Das Bundesgericht zieht insoweit stillschweigend die analogen Bestimmungen des Erwachsenenschutzrechts bei, wobei es bei deren Anwendung den Zielen und Zwecken des Kindesschutzes Beachtung schenkt, namentlich dem Kindeswohl (<ref-law>; so etwa <ref-ruling> E. 6; Urteile 5A_401/2015 vom 7. September 2015 E. 6; 5A_954/2013 vom 11. August 2014 E. 3-7; in diesem Sinne etwa auch AFFOLTER-FRINGELI, Berner Kommentar, 2016, N. 149 zu <ref-law>). Gemäss <ref-law> entlässt die Behörde den Beistand oder die Beiständin, wenn die Eignung für die Aufgaben nicht mehr besteht (Ziffer 1) oder ein anderer wichtiger Grund für die Entlassung vorliegt (Ziffer 2). Soweit das Gesetz auf den wichtigen Grund verweist, hat die Behörde ihre Entscheidung im konkreten Fall nach Recht und Billigkeit zu treffen (<ref-law>). Sie verfügt dabei über grosses Ermessen, dessen Ausübung das Bundesgericht zwar frei, aber nur mit Zurückhaltung prüft (vgl. dazu <ref-ruling> E. 3.2.5; <ref-ruling> E. 11.2). Bei der Entlassung der Beistandsperson aus wichtigem Grund stehen die Interessen der betroffenen Person im Vordergrund (zum Ganzen <ref-ruling> E. 6.1).
3.
Das Kantonsgericht hält fest, dass weder die persönliche noch die fachliche Eignung des Beistandes in Frage stehe, was nicht bestritten sei. Auch ein anderer wichtiger Grund für eine Entlassung liege nicht vor:
Die Ausübung des Besuchsrechts durch den Beschwerdeführer sei immer schwierig gewesen. Auch lehnten die Kinder den Kontakt zum Vater ab, wie sie verschiedentlich gegenüber Behörden und Gerichten deutlich gemacht hätten. Seit November 2015 hätten denn auch keine Besuche mehr stattgefunden. Der Kontaktabbruch könne nicht der Mutter angelastet werden, die den Kontakt zwischen Vater und Söhnen stets gefördert habe. Dem Beistand könne daher nicht vorgeworfen werden, dass er jener keine Weisungen bezüglich der Förderung dieses Kontakts erteilt habe.
Der Beistand - dieser habe weder die Aufgabe noch die Befugnis, das Besuchsrecht wie ein Vollstreckungsorgan durchzusetzen - habe im Rahmen der ihm zur Verfügung stehenden Mittel mehrfach versucht, Besuche des Vaters bei den Kindern zu ermöglichen. Namentlich habe er den Beschwerdeführer zwecks eines behutsamen Kontakt- und Vertrauensaufbaus mehrfach angehalten, nicht auf direkte Kontakte zu bestehen, sondern vorerst mittels Briefen und Geschenken das Vertrauen der Kinder zu gewinnen. Dieses Vorgehen sei sinnvoll und längerfristig erfolgsversprechender als das Beharren auf der strikten Umsetzung der gerichtlichen Besuchsregelung. Die Kinder lehnten den Kontakt zum Vater jedoch ab. Dieser Kindeswille erscheine gefestigt und konstant und werde von den Fachpersonen als unbeeinflusst beurteilt. Der Beistand habe ihn daher zu Recht ernst genommen, zumal der Kindeswille bei der Ausgestaltung des Besuchsrechts sowie bei der Frage zu berücksichtigen sei, ob überhaupt Besuche stattfinden sollen. Auch insoweit treffe den Beistand keinen Vorwurf.
Mangelhaft seien dagegen die Kooperation und das Bemühen des Beschwerdeführers, die Besuchsregelung zum Wohl der Kinder auszuüben. Der Beschwerdeführer beharre auf der Umsetzung des Besuchsrechts nach seinen Vorstellungen und Bedingungen ohne Rücksicht auf die Kinder zu nehmen. Er wolle primär seine Rechte durchsetzen und sei nicht in der Lage, seine persönlichen Bedürfnisse zum Wohle der Kinder zurückzustellen. Er habe auch keine Bemühungen aufzuzeigen vermocht, das Vertrauen der Kinder wieder zu gewinnen und den Kontaktaufbau zu fördern. Namentlich lehne er ein Vorgehen mittels kleiner Schritte ab. Das Scheitern der Wiederannäherung zwischen Vater und Söhnen sei folglich nicht auf den Beistand zurückzuführen. Ein Wechsel der Mandatsperson würde daher aller Wahrscheinlichkeit nach an der Weigerungshaltung der Kinder nichts ändern.
Unbehelflich sei zuletzt der Hinweis des Beschwerdeführers auf das gestörte Vertrauensverhältnis zum Beistand. Letzterer habe im wohlverstandenen Interesse der Kinder und unabhängig von den Eltern zu handeln, deren Interessen und Befindlichkeiten für ihn hinter die Kindesinteressen zurückzutreten hätten. Dem Vertrauensverhältnis zwischen Kind und Beistand sei grösseres Gewicht beizumessen als jenem zwischen Beistand und Eltern. Vorliegend sei das Verhältnis zwischen den Kindern und dem Beistand sowie dasjenige zwischen dem Beistand und der Mutter ungetrübt und von Vertrauen geprägt. Auch sei eine konstante, verlässliche und vertrauenswürdige Bezugsperson für die Kinder in Anbetracht der schwierigen familiären Verhältnisse wichtig. Die Ablehnung des Beistandes durch den Beschwerdeführer könne zwar die erfolgreiche Mandatsführung beeinträchtigen. Das Kindeswohl werde durch die Beibehaltung des vertrauten Beistands aber besser gewahrt als durch einen durch die bisherige Mandatsführung nicht gebotenen Wechsel.
4.
Was der Beschwerdeführer hiergegen vorbringt, vermag den angefochtenen Entscheid nicht in Frage zu stellen:
4.1. Der Beschwerdeführer anerkennt zwar, dass die Söhne den Kontakt zu ihm abgelehnt haben. In einiger Länge und mit verschiedenen Hinweisen auf die Akten versucht er aber aufzuzeigen, weshalb die entsprechenden Bekundungen nicht den tatsächlichen Gegebenheiten bzw. dem tatsächlichen Willen der Kinder entsprächen. Dem Beistand sei daher vorzuwerfen, dass er sich nicht auf den tatsächlichen Kindeswillen gestützt bzw. es unterlassen habe, entsprechend dem tatsächlichen Willen der Kinder zu handeln.
Damit macht der Beschwerdeführer die unrichtige Feststellung des Sachverhalts bezüglich des Kindeswillens geltend. Indessen erhebt er keine Rügen, die es dem Bundesgericht erlauben würden, diesbezüglich auf den kantonalen Entscheid zurückzukommen. Vielmehr begnügter sich damit, seine eigene Würdigung der vorhandenen Beweismittel derjenigen der Vorinstanz gegenüberzustellen, was nicht ausreicht (vgl. vorne E. 1.2). Auf die Beschwerde ist insoweit nicht einzutreten. Gleiches gilt, soweit der Beschwerdeführer unter Hinweis auf einen Rechenschaftsbericht der Jugend- und Familienberatung des Kantons Zürich den Vorwurf des Kantonsgerichts "richtig stellt", er habe sich nicht immer korrekt benommen, gehe nicht auf die Kinder ein und stelle seine eigenen Bedürfnisse in den Vordergrund. Auch insoweit setzt er sich nicht hinreichend mit dem angefochtenen Entscheid auseinander und macht nicht geltend, dessen tatsächliche Grundlagen seien qualifiziert unrichtig oder in Verletzung von Bundesrecht erstellt worden.
4.2. Nach Ansicht des Beschwerdeführers hätte das Kantonsgericht sodann nicht auf den Kindeswillen abstellen dürfen. Beide Söhne seien noch nicht zwölf Jahre alt und damit bezüglich der Besuchsrechtsregelung nicht urteilsfähig. Ohnehin stünden beide Kinder unter dem Einfluss der Mutter.
Soweit der Beschwerdeführer geltend macht, die Kinder würden durch die Mutter beeinflusst, ist ihm wiederum entgegenzuhalten, dass er keine genügenden Rügen erhebt (vgl. vorne E. 1.2) : Das Kantonsgericht hielt fest, der Kindeswille sei unbeeinflusst zustande gekommen (vgl. vorne E. 3). Diese Fe ststellung vermag der Beschwerdeführer mit seinen appellatorischen Vorbringen nicht in Frage zu stellen. Weiter ist zwar zutreffend, dass die Söhne das 12. Altersjahr noch nicht erreicht haben und Kinder nach der Rechtsprechung erst in diesem Alter in der Lage sind, hinsichtlich des persönlichen Verkehrs mit dem nicht obhutsberechtigten Elternteil autonom einen Willen zu bilden (Urteil 5A_875/2017 vom 6. November 2018 E. 3.3 mit Hinweisen). Indessen darf auch der aktenkundig geäusserte Wille eines etwas jüngeren Kindes nicht einfach ausgeblendet werden (Urteil 5A_666/2017 vom 27. September 2017 E. 5, in: FamPra.ch 2018 S. 249 [zu Art. 13 Abs. 2 des Haager Kindesentführungsübereinkommens, HKÜ; SR 0.211.230.02]) und ist diesem Willen generell mit fortschreitendem Alter des Kindes zunehmend Rechnung zu tragen (Urteil 5A_463/2017 vom 10. Juli 2018 E. 4.5.5, zur Publ. bestimmt). Hinzu kommt, dass der Wille der Söhne nach den verbindlichen Feststellungen der Vorinstanz (vgl. vorne E. 1.2 und 4.1) als gefestigt und konstant zu qualifizieren ist. Dies durfte das Kantonsgericht in der Urteilsfindung berücksichtigen (vgl. Urteil 5A_719/2013 vom 17. Oktober 2014 E. 4.4 mit Hinweisen). Zusammenfassend hat die Vorinstanz dem Willen der Söhne zwar ein sehr hohes Gewicht beigemessen (vgl. vorne E. 3), zumal dieser Wille nicht allein massgebend ist (Urteil 5A_463/2017 vom 10. Juli 2018 E. 4.5.5, zur Publ. bestimmt). Dennoch ist mit Blick auf das ihr zukommende grosse Ermessen (vorne E. 2) nach dem Ausgeführten nicht zu beanstanden, dass sie dem Beistand keine Pflichtverletzung vorwirft, weil er entsprechend dem von den Kindern geäusserten Willen handelte.
4.3. Zuletzt vermag der Beschwerdeführer auch nichts aus dem Vorbringen abzuleiten, er habe die Kinder nunmehr seit November 2015 nicht mehr gesehen. Das Kantonsgericht durfte nach dem Ausgeführten vielmehr zum Schluss gelangen, dass der Beistand ohne Pflichtverletzung und im besten Interesse der Kinder handelte. Diesem erwächst damit auch kein Vorwurf daraus, dass das Besuchsrecht lange nicht mehr ausgeübt werden konnte. Zumal es der Beschwerdeführer war, der sich nach den verbindlichen Feststellungen des Kantonsgerichts einer schrittweisen Wiederannäherung an die Söhne verschloss.
5.
Die Beschwerde erweist sich damit als unbegründet und ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Parteientschädigung ist keine zu sprechen, da der Stadt U._ keine solche geschuldet ist (<ref-law>) und der obsiegenden Kindsmutter keine entschädigungspflichtigen Kosten entstanden sind (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Es werden keine Parteientschädigungen gesprochen.
4.
Dieses Urteil wird den Verfahrensbeteiligten und dem Kantonsgericht Luzern, 2. Abteilung, schriftlich mitgeteilt.
Lausanne, 14. Dezember 2018
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Sieber