Sachverhalt: A. Am 26. Februar 2015 eröffnete die Kindes- und Erwachsenenschutzbehörde (KESB) U._ aufgrund einer Gefährdungsmeldung ein Erwachsenenschutzverfahren betreffend A._. Die Verfahrensleitung übernahm B._. Diese übertrug die Abklärung des Sachverhalts dem Sozialdienst der Einwohnergemeinde (EG) V._. Mit Bericht vom 17. April 2015 empfahl der Sozialdienst die Errichtung einer Vertretungsbeistandschaft für die Vermögensverwaltung. Als Beiständin schlug er die Sozialarbeiterin C._ vor. Nach weiteren Abklärungen erwog die KESB in der Verfügung vom 22. Oktober 2015, dass C._ den Sozialdienst verlassen werde, und ordnete an, was folgt: 2. Der Sozialdienst V._ wird beauftragt, unter Einbezug von A._ (Vorschlagsrecht gemäss Art. 401 ZGB) eine neue Beistandsperson vorzuschlagen, welche für die Mandatsführung fachlich und persönlich geeignet und bereit ist, die Beistandschaft zu übernehmen und der KESB U._ bis zum 16.11.2015 Bericht zu erstatten. 3. Nach Eingang des Berichts wird A._ die Möglichkeit eingeräumt werden, eine schriftliche Stellungnahme [...] zur empfohlenen Erwachsenenschutzmassnahme und zur vorgeschlagenen Beistandsperson einzureichen oder aber eine mündliche Anhörung zu verlangen. B. Am 21. Dezember 2015 beantragte A._, B._ habe in den Ausstand zu treten. Mit Entscheid vom 21. Januar 2016 wies die KESB U._ das Ausstandsbegehren ab. Die hiergegen von A._ beim Obergericht des Kantons Bern, Kindes- und Erwachsenenschutzgericht, am 29. Februar 2016 erhobene Beschwerde wies dieses mit Entscheid vom 18. Mai 2016 ab. Der Entscheid wurde auch den als Mitbeteiligte in das Verfahren einbezogenen Kindern von A._, D._ und E._, eröffnet. C. Mit Beschwerde in Zivilsachen vom 21. Juni 2016 ist A._ (Beschwerdeführer) ans Bundesgericht gelangt. Er beantragt, der Entscheid des Obergerichts des Kantons Bern, Kindes- und Erwachsenenschutzgericht, vom 18. Mai 2016 sei aufzuheben und es seien die von B._ (Beschwerdegegnerin) durchgeführten Verfahrenshandlungen für ungültig zu erklären und zu wiederholen. Das Bundesgericht hat die Akten des kantonalen Verfahrens, hingegen keine Vernehmlassung eingeholt. Den Kindern des Beschwerdeführers wurde auf deren Gesuch hin ein Exemplar der Beschwerdeschrift zur Kenntnis zugestellt.