Sachverhalt: A. A.a. B.A._ und A.A._ (Beschwerdeführer) sind die Eltern der Söhne C.A._ (geb. 2007) und D.A._ (geb. 2009). Am 15. Oktober 2014 schied das Bezirksgericht V._ ihre Ehe. Die Ehegatten hatten sich bereits im Juni 2011 getrennt. A.b. Noch während der Trennung hatte die damalige Vormundschaftsbehörde V._ für C.A._ und D.A._ im Hinblick auf das Besuchsrecht des Vaters eine Beistandschaft errichtet. Diese Beistandschaft war am 22. August 2012 nach einem Wohnsitzwechsel der die Kinder betreuenden Mutter von der damaligen Vormundschaftsbehörde U._ und heutigen Kindes- und Erwachsenenschutzbehörde U._ (KESB) übernommen und weitergeführt worden. Im Scheidungsurteil wurden die Kinder unter die alleinige elterliche Sorge der Mutter gestellt; der Vater erhielt ein Besuchsrecht, das später in zeitlicher Hinsicht beschränkt wurde. Ausserdem ordnete das Bezirksgericht eine Besuchsrechtsbeistandschaft an. Am 10. Februar 2015 wies die KESB A.A._ an, die Kontakte zu seinen Söhnen persönlich wahrzunehmen und am 1. Januar 2016 ernannte sie E._, Kinder- und Jugendschutz U._, zum Beistand. A.c. Mit Gesuch vom 24. Juli 2017 beantragte A.A._ einen Wechsel der Beistandsperson. Die KESB wies dieses Gesuch mit Entscheid vom 28. September 2017 ab. B. Die hiergegen von A.A._ beim Kantonsgericht Luzern eingereichte Beschwerde wies dieses mit Urteil vom 23. April 2018 (eröffnet am 2. Mai 2018) ab, soweit es darauf eintrat. C. Mit Beschwerde vom 1. Juni 2018 gelangt A.A._ an das Bundesgericht. Er beantragt, es sei das Urteil des Kantonsgerichts aufzuheben und dem Antrag auf Wechsel der Beistandsperson stattzugeben. Das Bundesgericht hat die Akten des kantonalen Verfahrens, indes keine Vernehmlassungen eingeholt.