Sachverhalt:
A.
Am 26. Februar 2015 eröffnete die Kindes- und Erwachsenenschutzbehörde (KESB) U._ aufgrund einer Gefährdungsmeldung ein Erwachsenenschutzverfahren betreffend A._. Die Verfahrensleitung übernahm B._. Diese übertrug die Abklärung des Sachverhalts dem Sozialdienst der Einwohnergemeinde (EG) V._. Mit Bericht vom 17. April 2015 empfahl der Sozialdienst die Errichtung einer Vertretungsbeistandschaft für die Vermögensverwaltung. Als Beiständin schlug er die Sozialarbeiterin C._ vor. Nach weiteren Abklärungen erwog die KESB in der Verfügung vom 22. Oktober 2015, dass C._ den Sozialdienst verlassen werde, und ordnete an, was folgt:
2. Der Sozialdienst V._ wird beauftragt, unter Einbezug von A._ (Vorschlagsrecht gemäss <ref-law>) eine neue Beistandsperson vorzuschlagen, welche für die Mandatsführung fachlich und persönlich geeignet und bereit ist, die Beistandschaft zu übernehmen und der KESB U._ bis zum 16.11.2015 Bericht zu erstatten.
3. Nach Eingang des Berichts wird A._ die Möglichkeit eingeräumt werden, eine schriftliche Stellungnahme [...] zur empfohlenen Erwachsenenschutzmassnahme und zur vorgeschlagenen Beistandsperson einzureichen oder aber eine mündliche Anhörung zu verlangen.
B.
Am 21. Dezember 2015 beantragte A._, B._ habe in den Ausstand zu treten. Mit Entscheid vom 21. Januar 2016 wies die KESB U._ das Ausstandsbegehren ab. Die hiergegen von A._ beim Obergericht des Kantons Bern, Kindes- und Erwachsenenschutzgericht, am 29. Februar 2016 erhobene Beschwerde wies dieses mit Entscheid vom 18. Mai 2016 ab. Der Entscheid wurde auch den als Mitbeteiligte in das Verfahren einbezogenen Kindern von A._, D._ und E._, eröffnet.
C.
Mit Beschwerde in Zivilsachen vom 21. Juni 2016 ist A._ (Beschwerdeführer) ans Bundesgericht gelangt. Er beantragt, der Entscheid des Obergerichts des Kantons Bern, Kindes- und Erwachsenenschutzgericht, vom 18. Mai 2016 sei aufzuheben und es seien die von B._ (Beschwerdegegnerin) durchgeführten Verfahrenshandlungen für ungültig zu erklären und zu wiederholen. Das Bundesgericht hat die Akten des kantonalen Verfahrens, hingegen keine Vernehmlassung eingeholt. Den Kindern des Beschwerdeführers wurde auf deren Gesuch hin ein Exemplar der Beschwerdeschrift zur Kenntnis zugestellt.

Erwägungen:
1.
Angefochten ist ein letztinstanzlicher kantonaler Entscheid über ein Ausstandsbegehren und damit ein selbständig eröffneter Zwischenentscheid im Sinn von <ref-law>, der ohne Weiteres der Beschwerde unterliegt. Bei Zwischenentscheiden folgt der Rechtsweg jenem der Hauptsache (<ref-ruling> E. 1.1 S. 382). Diese beschlägt die Anordnung einer Vertretungsbeistandschaft für die Vermögensverwaltung nach Art. 394 Abs. 1 i.V.m. <ref-law> und damit eine öffentlich-rechtliche Angelegenheit in unmittelbarem Zusammenhang mit dem Zivilrecht nach Art. 72 Abs. 2 Bst. b Ziff. 6 BGG, die nicht vermögensrechtlicher Natur ist. Der Beschwerdeführer ist durch den angefochtenen Entscheid besonders berührt und hat am vorinstanzlichen Verfahren teilgenommen (<ref-law>). Die Beschwerdefrist ist eingehalten (<ref-law>). Auf die Beschwerde kann daher eingetreten werden.
2.
Umstritten ist, ob das verfahrensleitende Mitglied der KESB befangen ist und in den Ausstand treten muss.
2.1. Die bundesrechtlichen Bestimmungen über das Verfahren vor der Erwachsenenschutzbehörde (<ref-law>) regeln den Ausstand von Behördenmitgliedern nicht (Urteil 5A_254/2014 vom 2. September 2014 E. 2.1). Sinngemäss anwendbar sind deshalb die Bestimmungen der Zivilprozessordnung, soweit die Kantone nichts anderes bestimmen (<ref-law>). Der Kanton Bern regelt das Verfahren vor den Kindes- und Erwachsenenschutzbehörden in den Art. 44 ff. des Gesetzes vom 1. Februar 2012 über den Kindes- und Erwachsenenschutz (KESG; BSG 213.316; vgl. Art. 1 Abs. 1 Bst. d KESG). Soweit dieses Gesetz keine abweichenden Bestimmungen enthält, findet das Gesetz vom 23. Mai 1989 über die Verwaltungsrechtspflege (VRPG; BSG 155.21) Anwendung (Art. 72 KESG). Dies ist hier der Fall. Der Ausstand bestimmt sich folglich nach Art. 9 VRPG.
2.2. Mit der Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 f. BGG gerügt werden. Ausserhalb der Teilbereiche von Art. 95 Bst. c-e BGG kann mit Bezug auf kantonales Recht nur geltend gemacht werden, dessen Anwendung verletze Bundesrecht; im Vordergrund steht dabei die Verletzung verfassungsmässiger Rechte, insbesondere des Willkürverbots (<ref-law>; <ref-ruling> E. 1; <ref-ruling> E. 1.2.1). Der Beschwerdeführer rügt nicht die willkürliche Anwendung von Art. 9 VRPG. Vielmehr sieht er die Mindestgarantien der BV und der EMRK zum Anspruch auf Unbefangenheit als verletzt an (Beschwerde, Bst. C.1 S. 2 und 5; vgl. <ref-ruling> E. 3.1). Nachfolgend ist zu prüfen, ob der angefochtene Entscheid diese Mindestgarantien einhält. Die Bestimmungen der EMRK und der BV besitzen insoweit dieselbe Tragweite (<ref-ruling> E. 4.1 S. 123; <ref-ruling> E. 2.2 S. 3). Auch der Beschwerdeführer legt nicht dar, dass die EMRK diesbezüglich mehr Rechte als die BV gewährleisten würde (<ref-law>).
3.
3.1. Die Garantie der Unbefangenheit folgt für Gerichtsbehörden aus <ref-law> bzw. Art. 6 Ziff. 1 EMRK und für Verwaltungsbehörden aus <ref-law>; sie ist Teilgehalt des Anspruchs auf gleiche und gerechte Behandlung. Im Kern der Garantie der Unbefangenheit steht sowohl für Gerichts- wie auch für Behördenmitglieder, dass sie sich in Bezug auf die Beurteilung des Sachverhalts nicht bereits festgelegt haben. Die für Gerichte geltenden (strengeren) Anforderungen an die Unabhängigkeit können allerdings nicht unbesehen auf das Verwaltungsverfahren übertragen werden. Gerade die systembedingten Unzulänglichkeiten des verwaltungsinternen Verfahrens haben zur Schaffung von unabhängigen gerichtlichen Behörden geführt (<ref-ruling> E. 5.2 S. 329; <ref-ruling> E. 5.2 S. 452). Das Verhalten des Mitglieds einer Verwaltungsbehörde erweist sich jedenfalls als unproblematisch, wenn es den Anforderungen von <ref-law> bzw. Art. 6 Ziff. 1 EMRK genügt. Dies ist hier der Fall, wie nachfolgend aufzuzeigen sein wird (hinten E. 5). Damit braucht nicht darauf eingegangen zu werden, ob es sich bei der KESB um ein Gericht im Sinn der BV und der EMRK handelt (vgl. dazu MICHÈLE MARTI, Die Umsetzung im Kanton Bern, ZBl 114/2013 S. 43 ff., 45 f.; URS VOGEL, in: Basler Kommentar, Zivilgesetzbuch, 5. Aufl. 2014, N. 13 zu Art. 440/441 ZGB).
3.2. Voreingenommenheit und Befangenheit im Sinne von <ref-law> bzw. Art. 6 Ziff. 1 EMRK werden nach der Rechtsprechung angenommen, wenn im Einzelfall anhand aller tatsächlichen und verfahrensrechtlichen Umstände Gegebenheiten aufscheinen, die geeignet sind, Misstrauen in die Unparteilichkeit des Gerichtsmitglieds zu erwecken. Dabei ist nicht auf das subjektive Empfinden einer Partei abzustellen. Das Misstrauen in die Unvoreingenommenheit muss vielmehr in objektiver Weise begründet erscheinen. Es genügt, wenn Umstände vorliegen, die bei objektiver Betrachtung den Anschein der Befangenheit und Voreingenommenheit hervorrufen. Für die Ablehnung wird nicht verlangt, dass das Gerichtsmitglied tatsächlich befangen ist (<ref-ruling> E. 4.1 S. 222; <ref-ruling> E. 2.1.2 S. 435 f.). Der Anschein der Befangenheit kann etwa durch vor oder während eines Prozesses abgegebene Äusserungen begründet werden, die den Schluss zulassen, dass sich das Gerichtsmitglied bereits eine feste Meinung über den Ausgang des Verfahrens gebildet hat (<ref-ruling> E. 2.1 S. 229; <ref-ruling> E. 2.1 S. 240). Dies ist etwa der Fall, wenn eine Äusserung über das Notwendige hinausgeht und mindestens indirekt auf eine bestimmte abschliessende Meinungsbildung schliessen lässt, weil ihr z.B. die notwendige Distanz fehlt. Solange das Gerichtsmitglied aber erkennen lässt, dass die geäusserten Absichten vorläufiger Natur sind und je nach Verfahrensstand überprüft und angepasst werden, führen diese nicht zu einer Ausstandspflicht (<ref-ruling> E. 3.3 S. 92 f.; <ref-ruling> E. 2e S. 201 f.).
4.
Nach Ansicht des Beschwerdeführers zeigt der bisherige Verfahrensgang, dass die Beschwerdegegnerin sich bereits eine feste Meinung zum Verfahrensausgang gebildet hat und daher befangen ist. Dies zeige sich zum einen an der in Ziffer 2 der Verfügung vom 22. Oktober 2015 enthaltenen Anweisung an den Sozialdienst, ihn zwecks Vorschlags einer neuen Beistandsperson vorzuladen. Hierdurch mache die Beschwerdegegnerin deutlich, dass sie abschliessend von der Notwendigkeit einer Verbeiständung ausgehe. Zum andern wolle die Beschwerdegegnerin die Verbesserung seines Gesundheitszustands und den Umstand, dass ein privater Vorsorgeauftrag bestehe, nicht wahrhaben (Beschwerde, Bst. C.1 und C.2 S. 3 ff., insbes. S. 5 f.). Die Vorinstanz führt demgegenüber aus, eine neue Beistandsperson müsse nur deshalb vorgeschlagen werden, weil die bisher vorgesehene Beiständin in absehbarer Zeit nicht mehr zur Verfügung stehe. Auch bestünden Anhaltspunkte, dass allenfalls eine Beistandschaft zu errichten sei. Daher sei es sinnvoll, wenn der Beschwerdeführer sich nicht nur zur möglichen Massnahme, sondern auch zur Beistandsperson äussere. Hieraus könne nicht abgeleitet werden, die Beschwerdegegnerin sehe die Beistandschaft abschliessend als notwendig an (angefochtener Entscheid, E. IV/23 S. 8).
5.
5.1. Als instruierendes Mitglied der KESB muss auch die Beschwerdegegnerin den Anforderungen genügen, welche an die Unbefangenheit von Behörden- bzw. Gerichtsmitgliedern gestellt werden (vgl. <ref-ruling> E. 8.4.1 S. 273 f.; <ref-ruling> E. 4c S. 262). Dies ist der Fall: Die Vorinstanz weist zu Recht darauf hin, dass Gründe der Prozessökonomie für das gewählte Vorgehen sprechen. Erweist sich die Beistandschaft als notwendig, muss eine Beistandsperson gefunden werden. Es hat daher eine gewisse Logik, wenn es dem Beschwerdeführer ermöglicht wird, sich gleichzeitig zu allen Punkten zu äussern, steht die Errichtung der Beistandschaft aus Sicht der Verfahrensleitung nicht geradezu ausser Frage. Dies muss vorliegend umso mehr gelten, als bereits eine Beistandsperson vorgeschlagen war, die nun aber nicht mehr zur Verfügung steht und ersetzt werden muss. Alles in allem bewegte sich die Beschwerdegegnerin mit der Verfügung vom 22. Oktober 2015 innerhalb des ihr als Verfahrensleiterin zustehenden Handlungsspielraums (vgl. Art. 47 Abs. 1 KESG; MERKLI/AESCHLIMANN/ HERZOG, Kommentar zum Gesetz über die Verwaltungsrechtspflege im Kanton Bern, 1997, N. 6 zu Art. 16 VRPG). Ihr Vorgehen deutet unter diesen Umständen nicht auf eine abschliessende Meinungsbildung hin. Hieran vermögen auch die Vorbringen des Beschwerdeführers nichts zu ändern, eine Beistandsperson müsse erst ernannt werden, wenn die Beistandschaft tatsächlich errichtet werde, und der Sozialdienst verfüge über genügend für das Amt geeignete Personen. Wie dargelegt, lässt sich das von der Verfahrensleiterin gewählte Vorgehen im Rahmen einer pflichtgemässen Verfahrensführung rechtfertigen; eine Aussage zum Verfahrensausgang enthält es nicht. Gleiches gilt hinsichtlich des Vorschlagsrechts nach <ref-law>, sodass der Beschwerdeführer nichts zu seinen Gunsten aus dem Umstand ableiten kann, dass ihm dieses in der Verfügung vom 22. Oktober 2015 gewährt worden ist. Nicht nachvollziehbar ist schliesslich, weshalb der Beschwerdeführer geltend macht, C._ sei als Beiständin nur vorgeschlagen, indessen nie ernannt worden. Anderes hat die Vorinstanz nicht behauptet (angefochtener Entscheid, E. III/15 S. 4 f.).
5.2. Von vornherein keine Befangenheit aufzuzeigen vermag der Beschwerdeführer mit den Vorbringen, die Beschwerdegegnerin habe die Verbesserung seines Gesundheitszustands sowie einen privaten Vorsorgeauftrag nicht berücksichtigt. Damit spricht er die Voraussetzungen der Beistandschaft an (vgl. Art. 389 f. ZGB); mithin die materielle Beurteilung des Streitfalls. Materielle Fragen sind im Rahmen der Hauptsache und nicht auf dem Weg von Ausstandsbegehren zu beurteilen (<ref-ruling> E. 3b S. 404; Urteil 2C_695/2014 vom 16. Januar 2015 E. 6.2). Auch fehlerhafte Verfügungen und Verfahrenshandlungen begründen für sich noch keinen Anschein der Befangenheit. Nur besonders schwere oder wiederholte Fehler, die auf Pflichtverletzung schliessen lassen, vermögen den Anschein der Befangenheit zu begründen (<ref-ruling> E. 3.2.3 S. 180; <ref-ruling> E. 2.3 S. 146). Solches ist vorliegend weder ersichtlich noch geltend gemacht.
5.3. Damit ist nicht zu beanstanden, dass die Vorinstanz das Vorliegen eines Ausstandsgrunds verneint hat. Bei diesem Ergebnis erübrigt es sich, auf die ebenfalls umstrittene Frage einzugehen, ob der Beschwerdeführer das Ausstandsgesuch rechtzeitig gestellt hat.
6.
Nach dem Gesagten erweist sich die Beschwerde als unbegründet und ist abzuweisen. Bei diesem Ausgang des Verfahrens muss der Beschwerdeführer für die Gerichtskosten aufkommen (<ref-law>). Parteientschädigung ist keine zu sprechen (Art. 68 Abs. 1 und 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Obergericht des Kantons Bern, Kindes- und Erwachsenenschutzgericht, und den Kindern des Beschwerdeführers schriftlich mitgeteilt.
Lausanne, 1. September 2016
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Sieber