Sachverhalt:
A.
Mit Eingabe vom 22. Mai 2013 wurde bei der Aufsichtskommission über die Anwältinnen und Anwälte des Kantons Basel-Stadt eine aufsichtsrechtliche Anzeige gegen den Advokaten lic. iur. A._ erstattet. Gemäss dieser Anzeige soll A._ im Rahmen einer Vertretung in einem Verfahren vor dem Vormundschaftsrat seiner Mandantin "körperlich und seelisch zu nahe gekommen" sein. Die Aufsichtskommission eröffnete in der Folge ein aufsichtsrechtliches Verfahren betreffend Einleitung eines Disziplinarverfahrens (nachfolgend: "Aufsichtsverfahren"). Gegen den Entscheid der Aufsichtskommission vom 15. Dezember 2015 wegen Verletzung von Berufspflichten wehrte sich A._ zunächst vor dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht (Verfahren VD.2016.228) und danach vor Bundesgericht. Mit Urteil 2C_832/2017 vom 17. September 2018 hob das Bundesgericht das Urteil des Appellationsgerichts vom 19. Juli 2017 auf, wobei es die Sache zur Regelung der Kosten- und Entschädigungsfolgen an das Appellationsgericht zurückwies. Mit Urteil 2C_131/2019 vom 27. August 2019 entschied das Bundesgericht, dass die Kosten des Aufsichtsverfahrens A._ nicht auferlegt werden dürfen und hob auch den Kostenentscheid des Appellationsgerichts vom 1. Dezember 2018 auf.
B.
Noch während des laufenden Aufsichtsverfahrens und vor dem Entscheid der Aufsichtskommission vom 15. Dezember 2015 erhob A._ am 12. November 2015 beim Appellationsgericht eine Rechtsverweigerungsbeschwerde gegen die Aufsichtskommission (Verfahren VD.2015.239). Er beantragte die Feststellung, dass die Aufsichtskommission eine Rechtsverweigerung begangen habe, und verlangte, der Aufsichtskommission sei zu untersagen, im Rahmen des Aufsichtsverfahrens an einer mündlichen Verhandlung eine Befragung zu seinem Privatleben vorzunehmen. Mit Eingabe vom 1. Dezember 2015 erklärt er sein Desinteresse an der Behandlung seiner Rechtsverweigerungsbeschwerde und seines Antrags auf Erlass einer einstweiligen Verfügung. Er beantragte im Weiteren, dass die Kosten des Verfahrens zulasten der Aufsichtskommission zu verlegen seien, da erst seine Rechtsverweigerungsbeschwerde zur Klarstellung der Instruktionsrichterin der Aufsichtskommission geführt habe, wonach keine Befragung zu seinem Privatleben stattfinden werde. Mit Urteil vom 2. August 2019 schrieb das Appellationsgericht die Rechtsverweigerungsbeschwerde einzelrichterlich als gegenstandslos ab und auferlegte A._ die Kosten des Verfahrens mit einer Abschreibungsgebühr in der Höhe von Fr. 300.--.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 23. September 2019 gelangt A._ an das Bundesgericht. Er beantragt die Aufhebung des Urteils des Appellationsgerichts vom 2. August 2019. Es sei von der Pflicht zur Tragung der Kosten des Verfahrens VD.2015.239 abzusehen. Eventualiter sei die Sache an das Appellationsgericht zurückzuweisen.
Die Vorinstanz nimmt mit Schreiben vom 26. September 2019 Stellung und beantragt die Abweisung der Beschwerde. Die Aufsichtskommission hat sich nicht vernehmen lassen. Der Beschwerdeführer repliziert mit Eingabe vom 3. Januar 2020.

Erwägungen:
1.
Die frist- (<ref-law>) und formgerecht (<ref-law>) eingereichte Eingabe betrifft eine Angelegenheit des öffentlichen Rechts (<ref-law>) und richtet sich gegen das kantonal letztinstanzliche (<ref-law>), verfahrensabschliessende (<ref-law>) Urteil eines oberen Gerichts (<ref-law>). Das Rechtsmittel ist als Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig, da kein Ausschlussgrund vorliegt (<ref-law>). Der Beschwerdeführer ist bereits im kantonalen Verfahren, das mit dem angefochtenen Urteil als gegenstandslos abgeschrieben wird, als Partei beteiligt gewesen. Ausserdem ist er durch das angefochtene Urteil in seinen schutzwürdigen Interessen besonders berührt, da ihm die Abschreibungsgebühr von Fr. 300.-- auferlegt worden ist. Er ist somit zur Erhebung des Rechtsmittels legitimiert (<ref-law>). Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist einzutreten.
2.
Mit der Beschwerde kann namentlich die Verletzung von Bundes- und Völkerrecht gerügt werden (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), wobei es - unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (<ref-law>) - grundsätzlich nur die geltend gemachten Vorbringen prüft, sofern allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (vgl. <ref-ruling> E. 1.5 S. 144; <ref-ruling> E. 1.4.1 S. 254). Der Verletzung von Grundrechten und kantonalem Recht geht das Bundesgericht nur nach, falls eine solche Rüge in der Beschwerde vorgebracht und ausreichend begründet worden ist (<ref-law>; vgl. <ref-ruling> E. 1.2.2 S. 286; <ref-ruling> E. 2.2 S. 232). Diese qualifizierte Rüge- und Begründungsobliegenheit nach <ref-law> verlangt, dass in der Beschwerde klar und detailliert anhand der Erwägungen des angefochtenen Entscheids dargelegt wird, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (vgl. <ref-ruling> E. 1.4 S. 5; <ref-ruling> E. 1.4.2 S. 254). Die Anwendung des kantonalen Rechts wird sodann vom Bundesgericht nur daraufhin geprüft, ob dadurch Bundesrecht - namentlich das Willkürverbot - verletzt wurde (vgl. <ref-ruling> E. 2.1 S. 372; <ref-ruling> E. 2 S. 149 f.). Seinem Urteil legt es den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>).
3.
Die Vorinstanz erwägt, der Beschwerdeführer habe mit Eingabe vom 12. November 2015 eine Rechtsverweigerungsbeschwerde erhoben. Dabei habe er die Feststellung beantragt, dass die Aufsichtskommission eine Rechtsverweigerung begangen habe, und verlangt, dass der Aufsichtskommission zu untersagen sei, im Rahmen des Disziplinarverfahrens an einer mündlichen Verhandlung Befragungen zu seinem Privatleben vorzunehmen. Mit Eingabe vom 1. Dezember 2015 habe der Beschwerdeführer sein Desinteresse an der Behandlung seiner Rechtsverweigerungsbeschwerde und seines Antrags auf Erlass einer einstweiligen Verfügung erklärt. Damit habe der Beschwerdeführer seine Beschwerde zurückgezogen. Beim Rückzug der Beschwerde sei das Verfahren als gegenstandslos abzuschreiben (vgl. E. 1.2 des angefochtenen Urteils). Grundsätzlich sei der Rückzug eines Rechtsmittels wie dessen Abweisung mit entsprechender Kostenfolge zu behandeln. Ein Abweichen hiervon sei nicht ausgeschlossen. In derartigen Fällen werde der mutmassliche Verfahrensausgang allerdings bloss summarisch beurteilt (vgl. E. 2.1 des angefochtenen Urteils).
Nach Auffassung der Vorinstanz hat das Bundesgericht bestätigt, dass auch das private Verhalten eines Anwalts oder einer Anwältin gegenüber einer Mandantin oder eines Mandanten einem Disziplinarverfahren durch die Aufsichtskommission zugänglich sein könne (vgl. E. 2.3 des angefochtenen Urteils mit Hinweis auf das Urteil 2C_832/2017 vom 17. September 2018 E. 2.3). Bereits in der Verfügung vom 3. Juli 2013 und im Schreiben vom 28. September 2015 habe die Instruktionsrichterin der Aufsichtskommission den Beschwerdeführer auf den Gegenstand des Verfahrens hingewiesen. Zugleich habe die Instruktionsrichterin dem Beschwerdeführer in Aussicht gestellt, dass unter anderem seine Telefonate an seine Mandantin auch an Samstagen und Sonntagen und von seiner Privatnummer aus sowie der Ablauf eines privaten Barbesuchs geprüft würden. Es sei dem Beschwerdeführer mitgeteilt worden, dass er und die geladenen Auskunftspersonen hierzu befragt würden. Im Lichte der bundesgerichtlichen Rechtsprechung sei die Aufsichtskommission daher grundsätzlich berechtigt gewesen, die von ihr vorgesehene Befragung zum Privatleben des Beschwerdeführers durchzuführen. Vor diesem Hintergrund wäre der Antrag des Beschwerdeführers, wonach der Aufsichtskommission zu untersagen sei, die Befragung zu seinem Privatleben im Rahmen des Disziplinarverfahrens vorzunehmen, abzuweisen gewesen (vgl. E. 2.4 des angefochtenen Urteils). Folglich wäre auch die vom Beschwerdeführer eingereichte Rechtsverweigerungsbeschwerde abzuweisen gewesen, wenn sie nicht gegenstandslos geworden wäre. Dementsprechend gelte der Beschwerdeführer als unterliegend und habe die Abschreibungsgebühr in der Höhe von Fr. 300.-- zu tragen (vgl. E. 3 des angefochtenen Urteils).
4.
Insoweit der Beschwerdeführer beanstandet, die Vorinstanz habe den Sachverhalt offensichtlich unrichtig festgestellt, genügen seine Vorbringen nicht den Anforderungen von <ref-law> (vgl. <ref-ruling> E. 9.2.3.6 S. 96; <ref-ruling> E. 1.4.3 S. 255).
5.
Nach Auffassung des Beschwerdeführers ist der Streitgegenstand der Rechtsverweigerungsbeschwerde die Frage der Ausforschung seines Privatlebens gewesen. Diese Frage hätte im Aufsichtsverfahren geklärt werden müssen. Im angefochtenen Urteil erkläre die Vorinstanz, sie habe den Ausgang des Aufsichtsverfahrens abgewartet. Daraus folgt seiner Ansicht nach, dass sie den Aufwand des vorliegenden Verfahrens (VD.2015.239) im Rahmen des aufsichtsrechtlichen Hauptverfahrens (VD.2016.228) berücksichtigt habe. Die verspätete Geltendmachung verstosse gegen Treu und Glauben nach <ref-law> und gegen den Grundsatz eines fairen Verfahrens nach Art. 6 EMRK, da dem Beschwerdeführer damit ein weiteres Verfahren aufgezwungen werde, um die Gebührenerhebung anzufechten. Deshalb sei von Willkür, der Verletzung des Grundsatzes der res iudicata und einer ungerechtfertigten doppelten Gebührenbelastung auszugehen.
Er macht weiter geltend, das Verfahren sei als gegenstandslos abzuschreiben, da die Anträge von der Aufsichtskommission erfüllt worden seien. Folglich hätte das Gericht, anstatt zu ergründen, welche Partei im Verfahren unterlegen wäre, anerkennen müssen, dass die Gegenstandslosigkeit von der Aufsichtskommission verursacht worden sei und diese als unterliegend betrachten müssen. Der Willkürvorwurf beziehe sich somit auch auf die Auslegung des Begriffs des Unterliegens.
5.1. § 30 Abs. 1 des Gesetzes über die Verfassungs- und Verwaltungsrechtspflege des Kantons Basel-Stadt vom 14. Juni 1928 (VRPG BS; SG 270.100) bestimmt, dass in der Verwaltungsrechtspflege dem Rekurrenten oder einem Beigeladenen im Falle des Unterliegens in der Regel die Verfahrenskosten aufzuerlegen sind.
5.2. Der Beschwerdeführer übersieht zunächst, dass er die Rechtsverweigerungsbeschwerde vom 12. November 2015 (Verfahren VD.2015.239) während des laufenden Aufsichtsverfahrens bei der Vorinstanz eingereicht hat. Der anfechtbare Entscheid der Aufsichtskommission ist erst am 15. Dezember 2015 ergangen, wobei er in der Folge dagegen ein Rechtsmittel ergriffen hat (Verfahren VD.2016.228).
5.2.1. Es ist daher offenkundig, dass es sich grundsätzlich um zwei unabhängig zueinander stehende Verfahren handelt. Die Gegenstandslosigkeit der Rechtsverweigerungsbeschwerde ist jedenfalls bereits mit Eingabe des Beschwerdeführers vom 1. Dezember 2015 eingetreten. Darin hat er sein Desinteresse an der Behandlung seiner Rechtsverweigerungsbeschwerde und seines Antrags auf Erlass einer einstweiligen Verfügung erklärt. In diesem Lichte geht die Vorinstanz in willkürfreier Weise davon aus, dass der Beschwerdeführer den Rückzug seiner Rechtsverweigerungsbeschwerde erklärt hat. Wenn der Beschwerdeführer in diesem Zusammenhang geltend macht, mit der Erklärung seines Desinteresses habe er lediglich zum Ausdruck gebracht, dass sein Rechtsschutzinteresse dahingefallen sei, erweist sich dies als unbehelflich. Mangelndes Rechtsschutzinteresse führt in der Regel zu einem Nichteintretensentscheid, mit dem ebenfalls regelmässig eine Kostentragung verbunden ist, oder bei Wegfall im Laufe des Verfahrens zu einem Kostenentscheid nach dem mutmasslichen Ausgang.
5.2.2. Dass die Vorinstanz den Ausgang des Aufsichtsverfahrens VD.2016.228 abgewartet hat, bis sie im Verfahren VD.2015.239 entschieden hat, deutet sodann nicht darauf hin, dass die Vorinstanz den Aufwand des vorliegenden Verfahrens (VD.2015.239) im Rahmen des Aufsichtsverfahrens (VD.2016.228) bereits berücksichtigt hätte. Dies stellt eine blosse Behauptung des Beschwerdeführers dar, ohne dass er hinreichend dartut, im Rahmen des Aufsichtsverfahrens hätte die Vorinstanz auf Prozesshandlungen des vorliegenden Verfahrens Bezug genommen. Die Vorinstanz hat den Ausgang des Aufsichtsverfahrens lediglich abgewartet, um den mutmasslichen Ausgang in der vorliegenden Angelegenheit zwecks Verlegung der Verfahrenskosten nicht bereits vorab summarisch prüfen zu müssen (vgl. E. 2.1 des angefochtenen Urteils). Dies ergibt sich insoweit auch aus der materiellen vorinstanzlichen Beurteilung des mutmasslichen Ausgangs, als die Vorinstanz in ihren Erwägungen auf das Urteil 2C_832/2017 vom 17. September 2018 Bezug nimmt (vgl. E. 2.3 des angefochtenen Urteils). Der Vorinstanz wäre aber ohne Weiteres offengestanden, das vorliegende Verfahren unmittelbar nach der Eingabe des Beschwerdeführers vom 1. Dezember 2015 als gegenstandslos abzuschreiben und die Verfahrenskosten vor Abschluss des Aufsichtsverfahrens anhand des mutmasslichen Ausgangs des vorliegenden Verfahrens zu verlegen.
5.3. Der Beschwerdeführer lässt sodann ausser Acht, dass er neben der Feststellung, die Aufsichtskommission habe eine Rechtsverweigerung begangen, auch verlangt hat, der Aufsichtskommission sei zu untersagen, im Rahmen des Aufsichtsverfahrens an einer mündlichen Verhandlung eine Befragung zu seinem Privatleben vorzunehmen. Die Vorinstanz legt ausführlich dar, weshalb dieser Antrag abzuweisen gewesen wäre (vgl. E. 3 hiervor; E. 2.3 f. des angefochtenen Urteils). Daran ändert auch der Umstands nichts, dass nach Auffassung des Beschwerdeführers erst seine Rechtsverweigerungsbeschwerde zur Klarstellung der Instruktionsrichterin der Aufsichtskommission geführt habe, wonach keine Befragung zu seinem Privatleben stattfinden werde. Einerseits hat ihm die Instruktionsrichterin der Aufsichtskommission bereits mit ihrer Verfügung vom 3. Juli 2013 und mit Schreiben vom 28. September 2015 den Gegenstand des Aufsichtsverfahrens bekannt gegeben. Andererseits wäre es der Aufsichtskommission vorliegend durchaus zugestanden, das private Verhalten des Beschwerdeführers gegenüber seiner Mandantin zu untersuchen (vgl. <ref-ruling> E. 6.3 S. 429 und E. 7.2 S. 430; Urteile 2C_832/2017 vom 17. September 2018 E. 2.3; 2C_308/2015 vom 7. Juli 2015 E. 2.3.1).
5.4. Die Vorinstanz beurteilt den mutmasslichen Verfahrensausgang demzufolge nicht unhaltbar. Sie kommt in ihrer summarischen Prüfung willkürfrei zum Schluss, dass die Aufsichtskommission keine Rechtsverweigerung begangen hätte, ihr nicht zu untersagen gewesen wäre, die Befragung mit Bezug auf das Privatleben des Beschwerdeführers vorzunehmen, und der Beschwerdeführer mithin als unterliegend zu gelten habe. Nach dem Dargelegten ist weder eine Verletzung des Willkürverbots oder des Grundsatzes der res iudicata ersichtlich noch ist von einer ungerechtfertigten doppelten Gebührenbelastung auszugehen. Insoweit der Beschwerdeführer vorbringt, die verspätete Geltendmachung verstosse gegen Treu und Glauben nach <ref-law> und gegen den Grundsatz eines fairen Verfahrens nach Art. 6 EMRK, genügen die Rügen nicht den Anforderungen von <ref-law> an die Geltendmachung von verfassungsmässigen Rechten (vgl. E. 2 hiervor). Eine völker- oder bundesrechtswidrige Anwendung von § 30 Abs. 1 VRPG BS ist daher nicht ersichtlich.
6.
Was der Beschwerdeführer gegen das vorinstanzliche Urteil im Weiteren vorbringt, vermag ebenso nicht zu überzeugen.
6.1. Im Sinne einer Eventualbegründung macht der Beschwerdeführer geltend, die Kostenauflage sei unzulässig, da sie gegen die Unschuldsvermutung verstosse. Die Vorinstanz scheine bei der Abwägung der Prozesschancen von der Prämisse auszugehen, dass das Aufsichtsverfahren gegen den Beschwerdeführer gerechtfertigt gewesen sei. Dem sei jedoch nicht so. Damit entbehre die vorinstanzliche Ansicht, dass die bestrittene Beweismassnahme zulässig gewesen wäre, jeder Begründung und es wäre davon auszugehen, dass eine solche Befragung unzulässig und der Antrag auf Unterlassung gutzuheissen gewesen wäre.
Entgegen der Auffassung des Beschwerdeführers richtet sich die Rechtsverweigerungsbeschwerde gegen die Durchführung einer Beweismassnahme, die der Aufsichtskommission im Aufsichtsverfahren - wie bereits dargelegt (vgl. E. 5.3 hiervor) - grundsätzlich zugestanden wäre. Mit dem angefochtenen Abschreibungsentscheid betreffend die Rechtsverweigerungsbeschwerde werden indes nicht die Kosten dieser Beweismassnahme selbst verlegt. Nur diese würden Kosten des Aufsichtsverfahrens (VD.2016.228) darstellen. Mit dem angefochtenen Urteil wird dem Beschwerdeführer lediglich eine Abschreibungsgebühr für ein von ihm eingeleitetes Verfahren auferlegt. Eine Verletzung der Unschuldsvermutung ergibt sich daraus nicht.
6.2. Nach dem Dargelegten ergibt sich auch nicht, weshalb das vorinstanzliche Urteil die Rechtsweggarantie nach <ref-law> verletzen würde. Die diesbezügliche Begründung genügt ebenfalls nicht den von <ref-law> gestellten Anforderungen (vgl. E. 2 hiervor).
7.
Im Ergebnis erweist sich die Beschwerde als unbegründet, weshalb sie abzuweisen ist. Diesem Verfahrensausgang entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Parteientschädigungen sind nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 1'200.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht schriftlich mitgeteilt.
Lausanne, 20. Januar 2020
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Zünd
Der Gerichtsschreiber: Zollinger