Sachverhalt:
A.
Mit Eingabe vom 22. Mai 2013 wurde bei der Aufsichtskommission über die Anwältinnen und Anwälte des Kantons Basel-Stadt (nachfolgend "Aufsichtskommission") eine aufsichtsrechtliche Anzeige gegen den Advokaten lic. iur. A._ erstattet. Gemäss dieser Anzeige soll A._ im Rahmen einer Vertretung in einem Verfahren vor dem Vormundschaftsrat seiner Mandantin (nachfolgend "Anzeigestellerin") "körperlich und seelisch zu nahe gekommen" sein. Die Aufsichtskommission eröffnete in der Folge ein aufsichtsrechtliches Verfahren betreffend Einleitung eines Disziplinarverfahrens (nachfolgend "Aufsichtsverfahren"). Gegen dieses Verfahren wegen Verletzung von Berufspflichten wehrte sich A._ bis vor das Bundesgericht. Mit bundesgerichtlichem Urteil 2C_832/2017 vom 17. September 2018 wurde das Urteil des Appellationsgerichts des Kantons Basel-Stadt als Verwaltungsgericht vom 19. Juli 2017 aufgehoben, wobei die Sache zur Regelung der Kosten- und Entschädigungsfolgen an die Vorinstanz zurückgewiesen wurde. Im Wesentlichen erwog das Bundesgericht, dass das Verhalten von A._ keine qualifizierte Norm- und Sorgfaltswidrigkeit und damit keinen bedeutsamen Verstoss gegen die Berufspflichten darstellte. Indem die Vorinstanz einen Verstoss gegen <ref-law> (SR 935.61) bejahte und die Auferlegung der Verfahrenskosten durch die Aufsichtskommission bestätigte, verletzte sie Bundesrecht (vgl. Urteil 2C_832/2017 vom 17. September 2018 E. 3.3.3). Zugleich wurde damit auch der Kostenentscheid der Aufsichtskommission aufgehoben (vgl. Urteil 2C_832/2017 vom 17. September 2018 E. 3.3.4).
B.
Mit Urteil vom 1. Dezember 2018 auferlegte das Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht (nachfolgend "Vorinstanz") A._ die Kosten des Aufsichtsverfahrens von insgesamt Fr. 2'600.--. Es erwog im Wesentlichen, A._ habe das Aufsichtsverfahren schuldhaft im Sinne der strafprozessualen Bestimmungen verursacht, sodass es - gleichwohl er keine Berufspflicht im Sinne des BGFA verletzt habe - dennoch gerechtfertigt sei, ihm die Kosten des Aufsichtsverfahrens aufzuerlegen. Im Weiteren wies es die Anträge auf Parteientschädigung und Genugtuung ab und auferlegte ihm die Kosten des verwaltungsgerichtlichen Rekursverfahrens in der Höhe von Fr. 300.--.
C.
D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten gelangt A._ an das Bundesgericht. Er verlangt die Aufhebung des vorinstanzlichen Urteils vom 1. Dezember 2018. Mit Blick auf das Aufsichtsverfahren beantragt er die Feststellung, das Bundesgericht habe über die Kosten des Aufsichtsverfahrens rechtskräftig entschieden. Eventualiter sei festzustellen, dass er die Kosten des Aufsichtsverfahrens nicht zu tragen habe. Subeventualiter sei die Sache an die Vorinstanz zurückzuweisen. Sodann seien ihm Auslagen von Fr. 90.--, Fr. 150.-- und Fr. 250.-- zuzusprechen. Mit Blick auf das Aufsichtsverfahren und das vorinstanzliche Rekursverfahren verlangt er eine angemessene Entschädigung. Eventualiter sei die Sache an die Vorinstanz mit der Vorgabe zurückzuweisen, eine Verhandlung durchzuführen, das rechtliche Gehör zu gewähren und die beantragten Beweise abzunehmen. Mit Blick auf das vorinstanzliche Rekursverfahren sei darauf zu verzichten, ihm die Kosten aufzuerlegen.
Die Vorinstanz beantragt die Abweisung der Beschwerde mit Schreiben vom 11. Februar 2019. Der Beschwerdeführer repliziert mit Schreiben vom 2. April 2019.

Erwägungen:
1.
Die frist- (<ref-law>) und formgerecht (<ref-law>) eingereichte Eingabe betrifft eine Angelegenheit des öffentlichen Rechts (<ref-law>) und richtet sich gegen das kantonal letztinstanzliche (<ref-law>), verfahrensabschliessende (<ref-law>) Urteil eines oberen Gerichts (<ref-law>). Das Rechtsmittel ist als Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig, da kein Ausschlussgrund vorliegt (<ref-law>). Der Beschwerdeführer hat vor der Vorinstanz am Verfahren teilgenommen und ist durch das angefochtene Urteil in seinen schutzwürdigen Interessen besonders berührt, da ihm die Kosten des Aufsichtsverfahrens auferlegt wurden. Er ist somit zur Erhebung des Rechtsmittels legitimiert (<ref-law>).
1.1. Soweit der Beschwerdeführer beantragt, es sei festzustellen, dass das Bundesgericht über die Kosten des Aufsichtsverfahrens entschieden und er diese nicht zu tragen habe, handelt es sich um ein Feststellungsbegehren. Feststellungsbegehren sind im bundesgerichtlichen Verfahren zulässig, sofern an der Feststellung ein schutzwürdiges Interesse besteht und dieses nicht ebenso gut mit einem Leistungsbegehren gewahrt werden kann (vgl. <ref-ruling> E. 2c S. 303; Urteile 2C_1055/2014 vom 2. Oktober 2015 E. 1.3.4; 2C_1138/2013 vom 5. September 2014 E. 1.2). Diese Voraussetzungen sind vorliegend nicht erfüllt, da im Rahmen eines Leistungsbegehrens darüber befunden werden kann, dass keine Kostenpflicht für das Aufsichtsverfahren besteht. Auf das Feststellungsbegehren ist nicht einzutreten.
1.2. Neben den reformatorischen Begehren um Auslagenersatz und Parteientschädigung stellt der Beschwerdeführer betreffend die Kosten des Aufsichtsverfahrens einen rein kassatorischen Antrag auf Aufhebung des angefochtenen Urteils. Soweit das Bundesgericht reformatorisch entscheiden kann, darf sich die beschwerdeführende Partei wegen der reformatorischen Natur der Rechtsmittel grundsätzlich nicht darauf beschränken, die Aufhebung des angefochtenen Urteils zu beantragen. Sie muss vielmehr einen Antrag in der Sache stellen (<ref-law>; vgl. <ref-ruling> E. 3.1 S. 489; Urteil 2C_473/2018 vom 10. März 2019 E. 1.2). Die Rechtsmittelbegehren sind indes nach Treu und Glauben unter Beizug der Beschwerdebegründung auszulegen. Geht aus der Beschwerdebegründung zweifelsfrei hervor, was die beschwerdeführende Partei anstrebt, und wie nach erfolgter Rückweisung vorzugehen wäre, liegt ein Antrag in der Sache vor (vgl. <ref-ruling> E. 1.3 S. 317; <ref-ruling> E. 1.4.1 S. 414 f.; Urteile 2C_1000/2018 vom 19. März 2019 E. 1.2; 2C_576/2018 vom 16. November 2018 E. 1.2.3.1). Unter diesem Blickwinkel kann der Antrag des Beschwerdeführers derart verstanden werden, dass von der Auferlegung der Kosten des Aufsichtsverfahrens in der Höhe von Fr. 2'600.-- abzusehen sei. Bei dieser Ausgangslage liegen mit Blick auf den Auslagenersatz, die Parteientschädigung und die Kosten des Aufsichtsverfahrens zulässige Rechtsbegehren vor, womit in diesem Umfang auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten einzutreten ist.
2.
Mit der Beschwerde kann namentlich die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), wobei es - unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (<ref-law>) - grundsätzlich nur die geltend gemachten Vorbringen prüft, sofern allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (vgl. <ref-ruling> E. 1.5 S. 144; <ref-ruling> E. 1.4.1 S. 254). Der Verletzung von Grundrechten sowie von kantonalem und interkantonalem Recht geht das Bundesgericht nur nach, falls eine solche Rüge in der Beschwerde vorgebracht und ausreichend begründet worden ist (<ref-law>; vgl. <ref-ruling> E. 1.2.2 S. 286; <ref-ruling> E. 2.2 S. 232; zur qualifizierten Rüge- und Begründungsobliegenheit vgl. <ref-ruling> E. 1.4 S. 5; <ref-ruling> E. 1.4.2 S. 254). Die Anwendung des kantonalen Rechts wird sodann vom Bundesgericht nur daraufhin geprüft, ob dadurch Bundesrecht - namentlich das Willkürverbot - verletzt wurde (vgl. <ref-ruling> E. 2.1 S. 372; <ref-ruling> E. 2 S. 149 f.). Seinem Urteil legt es den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Neue Tatsachen und Beweismittel dürfen vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
Mit der Beschwerde kann namentlich die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), wobei es - unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (<ref-law>) - grundsätzlich nur die geltend gemachten Vorbringen prüft, sofern allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (vgl. <ref-ruling> E. 1.5 S. 144; <ref-ruling> E. 1.4.1 S. 254). Der Verletzung von Grundrechten sowie von kantonalem und interkantonalem Recht geht das Bundesgericht nur nach, falls eine solche Rüge in der Beschwerde vorgebracht und ausreichend begründet worden ist (<ref-law>; vgl. <ref-ruling> E. 1.2.2 S. 286; <ref-ruling> E. 2.2 S. 232; zur qualifizierten Rüge- und Begründungsobliegenheit vgl. <ref-ruling> E. 1.4 S. 5; <ref-ruling> E. 1.4.2 S. 254). Die Anwendung des kantonalen Rechts wird sodann vom Bundesgericht nur daraufhin geprüft, ob dadurch Bundesrecht - namentlich das Willkürverbot - verletzt wurde (vgl. <ref-ruling> E. 2.1 S. 372; <ref-ruling> E. 2 S. 149 f.). Seinem Urteil legt es den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Neue Tatsachen und Beweismittel dürfen vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
3. Der Beschwerdeführer rügt die Verletzung des Anspruchs auf rechtliches Gehör. Nach <ref-law> haben die Parteien Anspruch auf rechtliches Gehör. Dieses Recht ist formeller Natur. Seine Verletzung führt ungeachtet der materiellen Begründetheit des Rechtsmittels zur Gutheissung der Beschwerde sowie zur Aufhebung des angefochtenen Entscheids (vgl. <ref-ruling> E. 5.3 S.17 f.; <ref-ruling> E. 2.2 S. 197), weswegen die Rüge vorweg zu behandeln ist. Insoweit sich die Rüge nicht auf die Kosten des Aufsichtsverfahrens bezieht und in der nachfolgenden Erwägung zu beurteilen ist (vgl. E. 4 hiernach), genügen die in der Beschwerde enthaltenen diesbezüglichen Rügen und deren Begründung nicht den von <ref-law> gestellten Anforderungen, sodass darauf nicht weiter einzugehen ist (vgl. E. 2 hiervor).
3. Der Beschwerdeführer rügt die Verletzung des Anspruchs auf rechtliches Gehör. Nach <ref-law> haben die Parteien Anspruch auf rechtliches Gehör. Dieses Recht ist formeller Natur. Seine Verletzung führt ungeachtet der materiellen Begründetheit des Rechtsmittels zur Gutheissung der Beschwerde sowie zur Aufhebung des angefochtenen Entscheids (vgl. <ref-ruling> E. 5.3 S.17 f.; <ref-ruling> E. 2.2 S. 197), weswegen die Rüge vorweg zu behandeln ist. Insoweit sich die Rüge nicht auf die Kosten des Aufsichtsverfahrens bezieht und in der nachfolgenden Erwägung zu beurteilen ist (vgl. E. 4 hiernach), genügen die in der Beschwerde enthaltenen diesbezüglichen Rügen und deren Begründung nicht den von <ref-law> gestellten Anforderungen, sodass darauf nicht weiter einzugehen ist (vgl. E. 2 hiervor).
4. Der Beschwerdeführer beanstandet die Auferlegung der Kosten des Aufsichtsverfahrens.
4.1 Nach Auffassung der Vorinstanz kann aus dem Urteil des Bundesgerichts vom 17. September 2018 im Verfahren 2C_832/2017 nicht geschlossen werden, es sei in jedem Fall bundesrechtswidrig, dem Beschwerdeführer die Kosten des Aufsichtsverfahrens vor der Aufsichtskommission aufzuerlegen. Entsprechend der Regelung in <ref-law> (SR 312.0) für das Strafverfahren sei es gerechtfertigt, einem Anwalt trotz Verneinung einer Berufspflichtverletzung die Kosten der Aufsichtsbehörde aufzuerlegen, wenn er das Disziplinarverfahren durch ein rechtswidriges oder schuldhaftes Verhalten veranlasst habe. Im Wesentlichen erwägt die Vorinstanz, der Beschwerdeführer habe schuldhaft seine auftragsrechtliche Treuepflicht gemäss Art. 398Abs. 2 OR verletzt, indem er übermässige persönliche Kontakte zur Anzeigestellerin gepflegt habe. Damit habe der Beschwerdeführer das Aufsichtsverfahren schuldhaft veranlasst. Er habe dessen Kosten zu tragen, obwohl er mit diesem Verhalten keine Berufspflicht im Sinne des BGFA verletzt habe (vgl. E. 1 des angefochtenen Urteils).
4.2 Der Beschwerdeführer bringt vor, das Bundesgericht habe mit Urteil 2C_832/2017 vom 17. September 2018 über die Kosten des Aufsichtsverfahrens entschieden. Folglich liege aufgrund der bundesgerichtlichen Erwägungen im besagten Urteil nicht nur mit Blick auf die Frage der Berufspflichtverletzung nach BGFA, sondern auch mit Bezug auf die Kosten des Aufsichtsverfahrens eine abgeurteilte Sache vor. Wegen der materiellen Rechtskraft (res iudicata) bestehe für die Vorinstanz auch im Hinblick auf die Kosten des Aufsichtsverfahrens eine Bindung an das bundesgerichtliche Urteil. Im Weiteren legt er dar, es sei willkürlich, ihm für eine behauptete unsorgfältige Mandatsführung im Sinne des Auftragsrechts die Kosten für das Aufsichtsverfahren aufzuerlegen. Selbst wenn eine zivilrechtliche Sorgfaltspflichtverletzung vorliegen würde, reiche diese nicht aus, um ein aufsichtsrechtliches Verfahren berechtigterweise einzuleiten. Hierfür stünden einzig die Rechtsbehelfe des Zivilrechts zur Verfügung. Er sei somit nicht der schuldhafte Verursacher des Aufsichtsverfahrens, sondern die Aufsichtskommission, die gestützt auf eine Fehleinschätzung das Aufsichtsverfahren unnötigerweise durchgeführt habe.
4.3 Das Bundesgericht kam im genannten Urteil zum Schluss, dass das Verhalten des Beschwerdeführers keine qualifizierte Norm- und Sorgfaltswidrigkeit und damit keinen bedeutsamen Verstoss gegen die Berufspflichten nach <ref-law> darstellte. Im Weiteren führte es aus, dass die Vorinstanz Bundesrecht verletzte, indem sie "die Auferlegung der Verfahrenskosten durch die Aufsichtskommission bestätigt hat" (Urteil 2C_832/2017 vom 17. September 2018 E. 3.3.3). Eine etwas unklare Formulierung findet sich indes im Dispositiv des zitierten Urteils. In Ziff. 4 des Dispositivs wird von einer Rückweisung zur Regelung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens und nicht lediglich des vorinstanzlichen Rekursverfahrens vor dem Appellationsgericht gesprochen. Diese Dispositivziffer des bundesgerichtlichen Urteils ist folglich auszulegen.
4.3.1 Aus der Urteilsbegründung ergibt sich klar, dass die Auferlegung der Kosten des Aufsichtsverfahrens ohne festgestellte Verletzung der Berufspflichten bundesrechtswidrig ist (vgl. Urteil 2C_832/2017 vom 17. September 2018 E. 3.3.3). Dieses Verständnis folgt auch aus der anschliessenden Erwägung. Darin wird darauf hingewiesen, dass im Sinne "des Devolutiveffekts [...] auch der Kostenentscheid der kantonalen Aufsichtskommission (Gerichtsgebühr und Auslagen in der Höhe von Fr. 2'600.-- zu Lasten des Beschwerdeführers) aufgehoben" wird (Urteil 2C_832/2017 vom 17. September 2018 E. 3.3.4). Im Lichte der bundesgerichtlichen Erwägungen betraf die Rückweisung in der Ziff. 4 des Dispositivs damit lediglich die Neuregelung der Kosten des Rekursverfahrens vor der Vorinstanz.
4.3.2 Die Vorinstanz kommt nunmehr gestützt auf andere Gründe zum Schluss, dass dem Beschwerdeführer die Kosten des Aufsichtsverfahrens trotzdem aufzuerlegen seien (vgl. E. 4.1 hiervor). Hierzu stützt sie sich auf § 14 Abs. 1 des Gesetzes über die Verwaltungsgebühren vom 9. März 1972 des Kantons Basel-Stadt (SGS 153.800), wonach diejenige Person zur Zahlung der vorgeschriebenen Gebühr verpflichtet ist, die eine Amtshandlung veranlasst hat. Wenn die Vorinstanz <ref-law> unter Anwendung dieser kantonalen Norm analog heranzieht und aufgrund einer Verletzung von <ref-law> ein schuldhaftes Verhalten ableitet, verkennt sie, dass der Gegenstand des Aufsichtsverfahrens die potenzielle Verletzung von aus dem BGFA resultierenden Pflichten gewesen ist. Steht gegen den Beschwerdeführer letztlich einzig die Frage einer Verletzung von <ref-law> zur Diskussion und wird ein solcher Verstoss gegen die Pflicht der sorgfältigen Berufsausübung verneint, lässt sich auch die Auferlegung der Kosten des damit zusammenhängenden Aufsichtsverfahrens nicht rechtfertigen.
4.3.3 Damit besteht auch nicht die Möglichkeit, die Kosten gestützt auf die von der Vorinstanz angeführte Verletzung von <ref-law> aufzuerlegen, da eine auftragsrechtliche Sorgfaltswidrigkeit im Rahmen des vorliegenden Aufsichtsverfahrens grundsätzlich nicht zu berücksichtigen ist. Dies ergibt sich aus der bundesgerichtlichen Rechtsprechung, wonach praxisgemäss eine unsorgfältige Berufsausübung im Sinne von <ref-law> ein staatliches Eingreifen nur dann rechtfertigt, wenn diese objektiv eine solche Schwere erreicht, dass - über die bestehenden Rechtsbehelfe aus Auftragsrecht wegen unsorgfältiger Mandatsführung hinaus - eine zusätzliche Sanktion im überwiegenden öffentlichen Interesse liegt und verhältnismässig erscheint. Diese Voraussetzung ist erst bei einer qualifizierten Norm- bzw. Sorgfaltswidrigkeit - mithin bei einen bedeutsamen Verstoss gegen die Berufspflichten ("un manquement significatif aux devoirs de la profession") - gegeben (vgl. <ref-ruling> E. 4.1 S. 476; vgl. auch Urteile 2C_933/2018 vom 25. März 2019 E. 5.1; 2C_832/2017 vom 17. September 2018 E. 2.2; 2C_280/2017 vom 4. Dezember 2017 E. 4.1.1). Selbst wenn sich ergeben sollte, dass der Beschwerdeführer mangelnde Sorgfalt im zivilrechtlichen Sinne walten liess, ist damit jedenfalls nicht eine Schwere erreicht, die die Einleitung eines Aufsichtsverfahrens ohne Weiteres erfordert. In der vorliegenden Angelegenheit hat das Bundesgericht mit Urteil 2C_832/2017 vom 17. September 2018 für die Vorinstanz verbindlich entschieden, dass die erforderliche Schwere nicht vorliegt. Ergibt sich aus dem Aufsichtsverfahren keine qualifizierte Verletzung der Pflicht zur sorgfältigen Berufsausübung im Sinne von <ref-law>, besteht für eine Kostenauferlegung gestützt auf eine mögliche (nicht-qualifizierte) Sorgfaltswidrigkeit im Sinne von <ref-law> kein Raum. Ein bloss nicht-qualifiziertes auftragsrechtliches Fehlverhalten kann nicht begründeten Anlass zu einem aufsichtsrechtlichen Verfahren geben, wenn in diesem aus materiell-rechtlicher Sicht eine darüber hinausgehende Schwere verlangt wird. Die Vorinstanz verfällt daher in Willkür, wenn sie dem Beschwerdeführer vorwirft, das Aufsichtsverfahren schuldhaft verursacht zu haben. Dass der Beschwerdeführer das Aufsichtsverfahren erschwert oder unnötige Prozesshandlungen vorgenommen hätte, die in der Folge zu unnötigen Amtshandlungen geführt hätten, wird ihm von der Vorinstanz zudem nicht vorgeworfen. Welche Amtshandlungen im Sinne der kantonalen Norm der Beschwerdeführer daher veranlasst hat, ergibt sich aus dem vorinstanzlichen Urteil nicht.
4.4 Die Auferlegung der Kosten des Aufsichtsverfahrens in der Höhe von insgesamt Fr. 2'600.-- durch die Vorinstanz ist folglich aufgrund der Bindungswirkung des bundesgerichtlichen Rückweisungsentscheids (vgl. <ref-ruling> E. 5.3.3 S. 222 f.; <ref-ruling> E. 5.2 S. 94) nicht haltbar. Die Beschwerde ist insoweit gutzuheissen.
4.4 Die Auferlegung der Kosten des Aufsichtsverfahrens in der Höhe von insgesamt Fr. 2'600.-- durch die Vorinstanz ist folglich aufgrund der Bindungswirkung des bundesgerichtlichen Rückweisungsentscheids (vgl. <ref-ruling> E. 5.3.3 S. 222 f.; <ref-ruling> E. 5.2 S. 94) nicht haltbar. Die Beschwerde ist insoweit gutzuheissen.
5. Mit Blick auf die durch den Beschwerdeführer geltend gemachten Auslagen von Fr. 90.--, Fr. 150.-- und Fr. 250.-- sowie die angemessene Entschädigung für das Verfahren vor der Aufsichtskommission und vor der Vorinstanz ist kantonales Recht anwendbar. Die Vorinstanz führt hierzu aus, dass die Auslagenentweder nicht belegt oder die Voraussetzungen für deren Ersatz nicht erfüllt seien und sie deshalb nicht ersetzt werden könnten (vgl. E. 2.4 des angefochtenen Urteils). Hinsichtlich der Parteientschädigung für das Aufsichtsverfahrenerwägt die Vorinstanz, dass eine solche im erstinstanzlichen Verwaltungsverfahren unüblich sei und einer ausdrücklichen gesetzlichen Grundlage bedürfe. Eine Parteientschädigung könne nach kantonalem Recht nur im Rekursverfahren zugesprochen werden. Im Aufsichtsverfahren werde mangels einer entsprechenden gesetzlichen Grundlage keine Parteientschädigung ausbezahlt (vgl. E. 2.2 f. des angefochtenen Urteils). Sodann seien die Voraussetzungen für die Zusprechung einer Parteientschädigung für das vorinstanzliche Rekursverfahren an einen in der eigenen Sache prozessierenden Anwalt nicht erfüllt. Der Beschwerdeführer habe auch für das verwaltungsgerichtliche Rekursverfahren keinen Anspruch auf eine Parteientschädigung (vgl. E. 4.2 des angefochtenen Urteils).
Was der Beschwerdeführer hiergegen ausführt, vermag im Lichte des anwendbaren kantonalen Rechts nicht den Anforderungen an die qualifizierte Rüge- und Begründungsobliegenheit zu genügen (vgl. <ref-law>). In der Beschwerde ist klar und detailliert anhand der Erwägungen des angefochtenen Urteils darzulegen, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (vgl. <ref-ruling> E. 1.4 S. 5; <ref-ruling> E. 1.4.2 S. 254). Der Verletzung von kantonalem Recht geht das Bundesgericht nur nach, falls eine solche Rüge in der Beschwerde vorgebracht und ausreichend begründet worden ist, wobei die Anwendung des kantonalen Rechts sodann nur daraufhin geprüft wird, ob dadurch Bundesrecht - namentlich das Willkürverbot - verletzt wurde (vgl. E. 2 hiervor). Der Beschwerdeführer legt zwar ausführlich dar, weshalb ihm die Auslagen und der eigene Aufwand entstanden sind. Indessen unterlässt der Beschwerdeführer, sich hinreichend mit dem vorinstanzlichen Urteil auseinander zu setzen. Inwiefern die Vorinstanz mit ihrem Urteil Bundesrecht verletzt, lässt sich aus der Beschwerde nicht rechtsgenüglich entnehmen. Die Beschwerde ist mit Blick auf die geltend gemachten Auslagen von Fr. 90.--, Fr. 150.-- und Fr. 250.-- sowie die Parteientschädigung für das Aufsichtsverfahren und für das verwaltungsgerichtliche Rekursverfahren folglich abzuweisen.
Was der Beschwerdeführer hiergegen ausführt, vermag im Lichte des anwendbaren kantonalen Rechts nicht den Anforderungen an die qualifizierte Rüge- und Begründungsobliegenheit zu genügen (vgl. <ref-law>). In der Beschwerde ist klar und detailliert anhand der Erwägungen des angefochtenen Urteils darzulegen, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (vgl. <ref-ruling> E. 1.4 S. 5; <ref-ruling> E. 1.4.2 S. 254). Der Verletzung von kantonalem Recht geht das Bundesgericht nur nach, falls eine solche Rüge in der Beschwerde vorgebracht und ausreichend begründet worden ist, wobei die Anwendung des kantonalen Rechts sodann nur daraufhin geprüft wird, ob dadurch Bundesrecht - namentlich das Willkürverbot - verletzt wurde (vgl. E. 2 hiervor). Der Beschwerdeführer legt zwar ausführlich dar, weshalb ihm die Auslagen und der eigene Aufwand entstanden sind. Indessen unterlässt der Beschwerdeführer, sich hinreichend mit dem vorinstanzlichen Urteil auseinander zu setzen. Inwiefern die Vorinstanz mit ihrem Urteil Bundesrecht verletzt, lässt sich aus der Beschwerde nicht rechtsgenüglich entnehmen. Die Beschwerde ist mit Blick auf die geltend gemachten Auslagen von Fr. 90.--, Fr. 150.-- und Fr. 250.-- sowie die Parteientschädigung für das Aufsichtsverfahren und für das verwaltungsgerichtliche Rekursverfahren folglich abzuweisen.
6. Nach dem Dargelegten erübrigt sich, auf das Begehren des Beschwerdeführers einzugehen, die Sache sei an die Vorinstanz mit der Vorgabe zurückzuweisen, eine Verhandlung durchzuführen, das rechtliche Gehör zu gewähren und die beantragten Beweise abzunehmen. Ferner besteht keine Veranlassung, sich zu den vom Beschwerdeführer eingereichten neuen Beweisen zu äussern.
Zusammenfassend ergibt sich, dass die Beschwerde teilweise gutzuheissen ist. Das angefochtene Urteil wird insoweit aufgehoben, als es die Kosten des Aufsichtsverfahrens betrifft. Im Übrigen ist die Beschwerde abzuweisen, soweit darauf eingetreten wird.
Zusammenfassend ergibt sich, dass die Beschwerde teilweise gutzuheissen ist. Das angefochtene Urteil wird insoweit aufgehoben, als es die Kosten des Aufsichtsverfahrens betrifft. Im Übrigen ist die Beschwerde abzuweisen, soweit darauf eingetreten wird.
7. Gemäss <ref-law> kann das Bundesgericht die Kosten des vorangegangenen Verfahrens anders verteilen, wenn der angefochtene Entscheid geändert wird. Aufgrund dieser Bestimmung besteht für das Bundesgericht die Möglichkeit, aber nicht die Pflicht, die Kosten des vorangegangenen Verfahrens neu zu verlegen (vgl. Urteile 1B_55/2017 vom 24. Mai 2017 E. 6; 5A_297/2016 vom 2. Mai 2017 E. 5.2; 1C_391/2016 vom 21. April 2017 E. 3; 4G_2/2013 vom 3. Februar 2014 E. 2). Vorliegend bietet es sich an, die Kosten des vorinstanzlichen Rekursverfahrens zu verlegen. Trotz des Antrags des Beschwerdeführers, es seien ihm die Kosten des vorinstanzlichen Rekursverfahrens nicht aufzuerlegen, fehlen diesbezüglich die rechtsgenüglichen Begründungen in der Beschwerde. Gestützt auf ein Obsiegen im Umfang von rund zwei Dritteln auferlegt die Vorinstanz dem Beschwerdeführer Fr. 300.-- der Gerichtsgebühr von insgesamt Fr. 1'000.-- (vgl. E. 4.1 des angefochtenen Urteils). Die Vorinstanz berücksichtigt in diesem Zusammenhang jedoch ein Unterliegen mit Blick auf die Kosten des Aufsichtsverfahrens. Der Beschwerdeführer obsiegt neben der Feststellung, keine Berufspflicht verletzt zu haben, nunmehr auch in diesem Punkt, während er mit seiner im verwaltungsgerichtlichen Rekursverfahren beantragen Genugtuungsforderung von Fr. 1'000.-- weiterhin unterliegt. In diesem Lichte rechtfertigt sich, die Gerichtsgebühr für das verwaltungsgerichtliche Rekursverfahren auf Fr. 100.-- festzulegen.
7. Gemäss <ref-law> kann das Bundesgericht die Kosten des vorangegangenen Verfahrens anders verteilen, wenn der angefochtene Entscheid geändert wird. Aufgrund dieser Bestimmung besteht für das Bundesgericht die Möglichkeit, aber nicht die Pflicht, die Kosten des vorangegangenen Verfahrens neu zu verlegen (vgl. Urteile 1B_55/2017 vom 24. Mai 2017 E. 6; 5A_297/2016 vom 2. Mai 2017 E. 5.2; 1C_391/2016 vom 21. April 2017 E. 3; 4G_2/2013 vom 3. Februar 2014 E. 2). Vorliegend bietet es sich an, die Kosten des vorinstanzlichen Rekursverfahrens zu verlegen. Trotz des Antrags des Beschwerdeführers, es seien ihm die Kosten des vorinstanzlichen Rekursverfahrens nicht aufzuerlegen, fehlen diesbezüglich die rechtsgenüglichen Begründungen in der Beschwerde. Gestützt auf ein Obsiegen im Umfang von rund zwei Dritteln auferlegt die Vorinstanz dem Beschwerdeführer Fr. 300.-- der Gerichtsgebühr von insgesamt Fr. 1'000.-- (vgl. E. 4.1 des angefochtenen Urteils). Die Vorinstanz berücksichtigt in diesem Zusammenhang jedoch ein Unterliegen mit Blick auf die Kosten des Aufsichtsverfahrens. Der Beschwerdeführer obsiegt neben der Feststellung, keine Berufspflicht verletzt zu haben, nunmehr auch in diesem Punkt, während er mit seiner im verwaltungsgerichtlichen Rekursverfahren beantragen Genugtuungsforderung von Fr. 1'000.-- weiterhin unterliegt. In diesem Lichte rechtfertigt sich, die Gerichtsgebühr für das verwaltungsgerichtliche Rekursverfahren auf Fr. 100.-- festzulegen.
8. Bei diesem Verfahrensausgang mit teilweisem Unterliegen wird der Beschwerdeführer reduziert kostenpflichtig (<ref-law>), während der Kanton Basel-Stadt keine Kosten trägt (<ref-law>). Weder dem in eigener Sache prozessierenden Beschwerdeführer (<ref-law>) noch dem Kanton Basel-Stadt (<ref-law>) ist eine Parteientschädigung zuzusprechen.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Das Urteil des Appellationsgerichts des Kantons Basel-Stadt als Verwaltungsgericht vom 1. Dezember 2018 wird insoweit aufgehoben, als dem Beschwerdeführer die Kosten des Aufsichtsverfahrens von insgesamt Fr. 2'600.-- (Dispositiv-Abs. 1) und eine Gebühr von Fr. 300.-- für das verwaltungsgerichtliche Rekursverfahren (Dispositiv-Abs. 3) auferlegt wurden. Dispositiv-Abs. 3 des vorinstanzlichen Urteils wird wie folgt geändert:
Der Rekurrent trägt die Kosten des verwaltungsgerichtlichen Rekursverfahrens mit einer reduzierten Gebühr von CHF 100.--, einschliesslich Auslagen. Die Kosten werden mit dem Kostenvorschuss des Rekurrenten von CHF 1'000.-- verrechnet. Die Gerichtskasse hat dem Rekurrenten CHF 900.-- zurückzuerstatten.
Im Übrigen wird die Beschwerde abgewiesen, soweit darauf einzutreten ist.
2.
Die reduzierten Gerichtskosten des bundesgerichtlichen Verfahrens von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht schriftlich mitgeteilt.
Lausanne, 27. August 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Zünd
Der Gerichtsschreiber: Zollinger