Sachverhalt:
A.
A.a. Am 29. September 2014 errichtete die Kindes- und Erwachsenenschutzbehörde Basel-Stadt (KESB) über B._ (betroffene Person) eine Beistandschaft nach Art. 394 Abs. 2 i.V.m. Art. 395 ZGB und setzte Benedikt Suter als Beistand ein. Er hat die Aufgabe, B._ in administrativen und finanziellen Angelegenheiten zu vertreten. Namentlich soll er ihr Einkommen und Vermögen verwalten, für die fachgerechte Aufbewahrung der Kunstwerke sorgen und sie in sämtlichen Rechtsgeschäften im Zusammenhang mit der Kunstsammlung und ihrer Stellung als Gesellschafterin vertreten. Der Entscheid ist in Rechtskraft erwachsen. B._ hat zwei erwachsene Kinder, nämlich A._ (Beschwerdeführer) und C._ (Beigeladene).
A.b. Mit Eingabe vom 17. Mai 2017 ersuchte A._ die KESB darum, den Beistand aus dem Amt zu entlassen und eine geeignete Person als neuen Beistand zu ernennen. Am 2. Juni 2017 beantragte er zudem, auf die Dienste von D._ als kunstverständige Hilfsperson des Beistands zu verzichten. Die KESB nahm die erste Eingabe als Gesuch im Sinne von Art. 423 ZGB und die zweite als Beschwerde nach Art. 419 ZGB entgegen und wies beide mit Entscheid vom 12. September 2017 ab.
B.
Die von A._ gegen diesen Entscheid erhobene Beschwerde wies das Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht mit Urteil vom 30. Mai 2019 (eröffnet am 4. Juli 2019) ab, soweit es darauf eintrat.
C.
A._ gelangt am 4. September 2019 mit Beschwerde in Zivilsachen ans Bundesgericht. Er beantragt zusammengefasst, es sei der Entscheid vom 30. Mai 2019 aufzuheben, der Beistand zu entlassen und die Angelegenheit zur Ernennung einer fachlich und persönlich geeigneten Person als Beistand an das Appellationsgericht zurückzuweisen. Zudem sei auf die Dienste von D._ als Kunstsachverständigen ab sofort zu verzichten. Eventualiter sei das angefochtene Urteil aufzuheben und die Sache zu neuer Entscheidung zurückzuweisen.
Das Bundesgericht hat die Akten des kantonalen Verfahrens, indes keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Das Bundesgericht prüft seine Zuständigkeit und die weiteren Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (vgl. Art. 29 Abs. 1 BGG; <ref-ruling> E. 1; <ref-ruling> E. 1).
Fristgerecht (Art. 100 Abs. 1 und Art. 46 Abs. 1 Bst. b BGG) angefochten ist der Endentscheid (Art. 90 BGG) einer letzten kantonalen Instanz, die auf Rechtsmittel hin als oberes Gericht (Art. 75 BGG) über eine Erwachsenenschutzmassnahme (Entlassung eines Beistands und einer Hilfsperson) und damit eine öffentlich-rechtliche Angelegenheit in unmittelbarem Zusammenhang mit Zivilrecht nach Art. 72 Abs. 2 Bst. b Ziff. 6 BGG ohne Streitwert entschieden hat (vgl. Urteil 5A_902/2018 vom 14. August 2019 E. 1.1). Die Beschwerde in Zivilsachen ist das zutreffende Rechtsmittel.
2.
2.1. Auf die Beschwerde kann nur eingetreten werden, wenn der Beschwerdeführer zu deren Einreichung legitimiert ist. Die Beschwerdeberechtigung beurteilt sich im Verfahren vor Bundesgericht auch im Bereich des Erwachsenenschutzes allein nach Art. 76 Abs. 1 BGG (Urteile 5A_542/2019 vom 30. Juli 2019 E. 3.1; 5A_18/2019 vom 6. Juni 2019 E. 3.1). Demnach ist zur Beschwerde in Zivilsachen berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten hat (Bst. a) und durch den angefochtenen Entscheid besonders berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat (Bst. b).
2.2. Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen, womit die erste Voraussetzung von Art. 76 Abs. 1 BGG erfüllt ist. Der Umstand allein, dass er am kantonalen Verfahren als Partei aufgetreten ist oder dass er das Beschwerdeverfahren vor dem Appellationsgericht veranlasst hat, verschafft ihm aber noch kein schutzwürdiges Interesse an der Beschwerdeführung nach Art. 76 Abs. 1 Bst. b BGG (Urteile 5A_310/2015 vom 20. April 2015 E. 2; 5A_238/2015 vom 16. April 2015 E. 2). Hierzu ist vielmehr vorausgesetzt, dass der Beschwerdeführer, nebst dem, dass er durch den angefochtenen Entscheid besonders berührt ist, einen praktischen Nutzen an der Gutheissung der Beschwerde hat, der es ihm ermöglicht, einen Nachteil wirtschaftlicher, ideeller, materieller oder anderweitiger Natur zu vermeiden, den der angefochtene Entscheid mit sich brächte (<ref-ruling> E. 3.2.2.2). Das vom Beschwerdeführer verfolgte Interesse muss sodann sein eigenes sein. Mit der Beschwerde in Zivilsachen können nicht die Interessen Dritter geltend gemacht werden (Urteile 5A_542/2019 vom 30. Juli 2019 E. 3.1; 5A_911/2015 vom 21. Januar 2016 E. 3.1; 5A_892/2017 vom 23. August 2018 E. 4.3).
2.3. Entsprechend der ihn auch insoweit treffenden Begründungspflicht (Art. 42 Abs. 2 BGG; Urteil 5A_18/2019 vom 6. Juni 2019 E. 3.2) verweist der Beschwerdeführer in diesem Zusammenhang auf die vielfältige Verflechtung seines Vermögens mit jenem der betroffenen Person. Insbesondere bestünden an verschiedenen Kunstgegenständen, die zur Sammlung der Familie gehörten, Gesamteigentum. Der Beschwerdeführer und seine Mutter seien beide an derselben Gesellschaft beteiligt, er lebe in einer in ihrem Eigentum stehenden Liegenschaft und verwalte das Wertschriftenportfeuille einer ihrer Gesellschaften. Damit werde der Beschwerdeführer in vielfältiger Weise von der Arbeit des Beistandes und des Kunstsachverständigen betroffen. Er müsse sich mit dem Beistand auseinandersetzen und sich im Zusammenhang mit der Kunstsammlung gar Eingriffe in sein Eigentum gefallen lassen. Ausserdem seien der Beschwerdeführer und die Schwester die einzigen direkten Nachkommen der betroffenen Person und im Erlebensfall deren Erben. Die Arbeit des Beistandes betreffe auch die Entwicklung des Vermögens der Mutter, womit der Beschwerdeführer als Präsumtiverbe zumindest mittelbar erheblich betroffen sei.
2.4. Was die Verflechtung der Vermögen des Beschwerdeführers und der betroffenen Person betrifft, ist auf Folgendes zu verweisen: Der Beschwerdeführer selbst ist von der Erwachsenenschutzmassnahme nicht betroffen. Ihm steht die volle Verfügungsgewalt über sein Vermögen zu und es ist ihm unbenommen, zu dessen Schutz sämtliche ihm zur Verfügung stehenden Rechtsbehelfe zu ergreifen. Insbesondere kann er sich gegen jede unberechtigte Einwirkung auf sein Eigentum zur Wehr setzen (vgl. Art. 641 Abs. 2 ZGB). Aus dem angefochtenen Entscheid erwächst ihm mithin nur insoweit ein (tatsächlicher) Nachteil, als er sich in seinen Geschäftsbeziehungen mit dem Beistand auseinandersetzen muss und sich diese Beziehungen umso schwieriger ausgestalten, je weniger er zu jenem ein Vertrauensverhältnis aufbauen kann. Damit wird der Beschwerdeführer von der Massnahme im Prinzip aber nicht stärker als eine beliebige in geschäftlichen Beziehungen mit der betroffenen Person stehende Drittperson betroffen und vermag dieser Umstand keine Beschwerdelegitimation zu begründen (<ref-ruling> E. 1.4.1; KLETT, in: Basler Kommentar, Bundesgerichtsgesetz, 3. Aufl. 2018, N. 4a zu Art. 76 BGG; zum Beizug der Rechtsprechung zur Beschwerde in öffentlich-rechtlichen Angelegenheiten vgl. <ref-ruling> E. 5.2). Daran ändert nichts, dass der Beschwerdeführer in besonders engen Geschäftsbeziehungen zu seiner Mutter steht.
2.5. Soweit der Beschwerdeführer sich sodann auf seine Erbenstellung beruft, macht er von vornherein eine bloss mittelbare Betroffenheit durch den angefochtenen Entscheid geltend (vgl. dazu <ref-ruling> E. 1.4.1 mit zahlreichen Hinweisen). Entsprechend begründet auch der Umstand, dass er in Zukunft gegebenenfalls ein höheres Erbe wird antreten können, keine Beschwerdeberechtigung des Beschwerdeführers. Dies gilt umso mehr, als dessen Überlegungen auf der blossen Mutmassung beruhen, dass ein anderer Beistand besser als der derzeitige Amtsinhaber für das Vermögen der Mutter sorgen würde (vgl. für einen vergleichbaren Fall Urteil 5A_295/2015 vom 29. Juni 2015 E. 1.2.3). Eine Beschwerdeberechtigung des Beschwerdeführers liesse sich im Übrigen auch nicht mit dem Argument begründen, das Vermögen der Mutter werde durch die Erwachsenenschutzmassnahme unnötig belastet. Mit diesem Vorbringen würde der Beschwerdeführer keine eigenen Interessen, sondern jene der Mutter verfolgen, was vor Bundesgericht nicht angeht (vorne E. 2.2; vgl. Urteil 5A_787/2015 vom 3. März 2016 E. 1.2.2).
2.6. Zusammenfassend ist der Beschwerdeführer nicht nach Art. 76 Abs. 1 Bst. b BGG zur Beschwerde berechtigt, weshalb auf diese nicht einzutreten ist. Dies gilt auch insoweit, als der Beschwerdeführer sich darauf beruft, die Ernennung des Beistands sei von Anfang an nichtig gewesen (vgl. <ref-ruling> E. 4.2; Urteil 5A_758/2018 vom 18. April 2019 E. 1.3 mit Hinweisen).
3.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Der betroffenen Person und der Beigeladenen sind mangels Einholens von Vernehmlassungen keine zu ersetzenden Kosten entstanden, weshalb keine Parteientschädigung zu sprechen ist (Art. 68 Abs. 1 und 2 BGG).
Sofern der Beschwerdeführer mit dem Begehren, auf die Dienste von D._ als Kunstsachverständigen sei " ab sofort " zu verzichten, ein Gesuch um Erlass einer vorsorglichen Massnahme (Art. 104 BGG) stellen sollte, wird dieses Gesuch mit dem Entscheid in der Sache gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 5'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, der Kindes- und Erwachsenenschutzbehörde Basel-Stadt, B._, C._ und dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht, Dreiergericht, schriftlich mitgeteilt.
Lausanne, 26. Mai 2020
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Sieber