Sachverhalt:
A.
Mit Eingabe vom 22. Mai 2013 erstattete Dr. med. B._ mit Vollmacht ihrer Patientin C._ bei der Aufsichtskommission über die Anwältinnen und Anwälte (Aufsichtskommission) eine aufsichtsrechtliche Anzeige gegen den Advokaten lic. iur. A._. Gemäss dieser Anzeige soll A._ C._ im Rahmen ihrer Vertretung in einem Verfahren betreffend fürsorgerischer Freiheitsentziehung vor dem Vormundschaftsrat "körperlich und seelisch zu nahe gekommen" sein. Die Aufsichtskommission eröffnete in der Folge ein aufsichtsrechtliches Verfahren betreffend Einleitung eines Disziplinarverfahrens. Dieses wurde durch die Präsidentin der Aufsichtskommission, Dr. Marie-Louise Stamm, instruiert.
B.
Am 12. November 2013 beschloss die Aufsichtskommission, ein förmliches Disziplinarverfahren gegen A._ einzuleiten, was ihm am 20. November 2013 mitgeteilt wurde. Mit Eingabe vom 24. Dezember 2013 beantragte A._ den Ausstand von Marie-Louise Stamm. Dieses Gesuch wies die Aufsichtskommission in der hierfür vorgesehenen Besetzung, das heisst ohne Mitwirkung ihrer Präsidentin, mit Zwischenentscheid vom 18. September 2014 ab. Einen gegen diesen Entscheid geführten Rekurs hat das Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht am 3. Februar 2015 abgewiesen.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 15. April 2015 beantragt A._ dem Bundesgericht, es sei das Urteil vom 3. Februar 2015 aufzuheben und festzustellen, dass die im Zirkulationsverfahren ergangenen Entscheide der Aufsichtskommission betreffend Einleitung eines Verfahrens und Ausstand ungültig seien. Sodann sei festzustellen, dass die Präsidentin der Aufsichtskommission in den Ausstand zu treten habe. Ebenso sei festzustellen, dass das Verwaltungsgericht eine Rechtsverweigerung beging, weil es namentlich auf einen Rückweisungsantrag an die Aufsichtskommission nicht eingetreten war.
Die Aufsichtskommission über die Anwältinnen und Anwälte sowie das Appellationsgericht des Kantons Basel-Stadt beantragen, die Beschwerde sei abzuweisen. Der Beschwerdeführer hält mit Eingabe vom 1. Juni 2015 an seinen Anträgen fest.
D.
Parallel zum vorliegenden Verfahren erstattete A._ am 29. August 2013 Strafanzeige gegen Dr. B._ wegen Verletzung des Berufsgeheimnisses und Ehrverletzung. Mit Verfügung vom 30. September 2013 sistierte die Staatsanwaltschaft Basel-Stadt die Ermittlungen, bis ein rechtskräftiger Entscheid der Aufsichtskommission über die Anwältinnen und Anwälte vorliege. Eine hiergegen beim Appellationsgericht geführte Beschwerde blieb erfolglos (Urteil vom 17. März 2014). Am 18. Juli 2014 hob das Bundesgericht das Urteil vom 17. März 2014 auf und wies die Staatsanwaltschaft Basel-Stadt an, das Strafverfahren wieder aufzunehmen. Im Übrigen lehnte es die Beschwerde ab (Urteil 1B_163/2014 vom 18. Juli 2014).

Erwägungen:
1.
1.1. Beim angefochtenen Entscheid handelt es sich um einen kantonal letztinstanzlichen, selbstständig eröffneten Zwischenentscheid über ein Ausstandsbegehren (Art. 86 Abs. 1 lit. d und Art. 92 Abs. 1 BGG). Ihm liegt die Eröffnung eines Disziplinarverfahrens über Anwälte und damit eine öffentlich-rechtliche Angelegenheit zu Grunde (Art. 82 lit. a BGG). Der Beschwerdeführer ist als Partei des verwaltungsgerichtlichen Verfahrens, dessen Ausstandsbegehren abgelehnt worden ist, zur Beschwerde legitimiert (Art. 89 Abs. 1 lit. a BGG). Auf die form- und fristgerecht eingereichte Eingabe ist grundsätzlich einzutreten (Art. 42 Abs. 2 und 100 Abs. 1 BGG).
1.2. Hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht gilt eine qualifizierte Rügepflicht (vgl. Art. 106 Abs. 2 BGG). Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (vgl. <ref-ruling> S. 17 f.; <ref-ruling> E. 4.1.2 S. 62; <ref-ruling> E. 1.2 S. 187 mit Hinweisen). Wird eine Verletzung des Willkürverbots geltend gemacht, muss im Einzelnen dargelegt werden, inwiefern der angefochtene Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 4.2.3; <ref-ruling> E. 2.8; <ref-ruling> E. 1.3 S. 262, je mit Hinweisen; Urteil 8C_65/2012 vom 21. August 2012 E. 1.2, nicht publ. in: <ref-ruling> ff.).
1.3. Die Beschwerde ist nur im Rahmen des Streitgegenstands zulässig. Dieser wird durch den Gegenstand des angefochtenen Entscheids und durch die Parteibegehren bestimmt, wobei der angefochtene Entscheid den möglichen Streitgegenstand begrenzt (<ref-ruling> E. 5 S. 174; <ref-ruling> E. 3.3 S. 189; Urteile 1C_426/2014 vom 24. November 2014 E. 2.2; 1C_417/2013 vom 11. September 2013 E. 1.2; 2C_689/2011 vom 23. November 2012 E. 1.3).
1.3.1. Das Verwaltungsgericht hat das rechtzeitig erhobene Ausstandsbegehren gegen die Präsidentin der Aufsichtskommission behandelt. Demgegenüber hat es die Rügen zum (im Zirkularverfahren ergangenen) Entscheid der Anwaltsaufsichtskommission über die Einleitung eines Disziplinarverfahrens vom 12. November 2013 - sofern einem Rekurs überhaupt zugänglich - als verspätet angesehen und nur auf Nichtigkeit hin geprüft. Auch auf den Antrag des Beschwerdeführers, die Streitsache zu einem "Zwischenentscheid über den Gegenstand des Disziplinarverfahrens" an die Anwaltskommission zurückzuweisen, ist das Appellationsgericht infolge Überschreitung des Streitgegenstands nicht eingetreten und sah dies auch nicht als Rechtsverweigerung an (angefochtener Entscheid E. 1.5).
1.3.2. Der Beschwerdeführer hält die Begründung der Beschränkung des Streitgegenstands der Vorinstanz für unhaltbar, legt aber nicht dar, inwiefern das Vorgehen des Appellationsgerichts - das in einer Spezialbesetzung ohne Mitwirkung der Präsidentin über den Ausstand tagt - in Anwendung des kantonalen Prozessrechts willkürlich wäre (vgl. E. 1.2). Der Beschluss über die Eröffnung einer Straf- oder Disziplinaruntersuchung ist sodann keine Massnahme, die Rechtsbeziehungen des Einzelnen zum Staat regelt und als solche ohne Weiteres Beschwerdeobjekt sein könnte (vgl. Urteile 2C_133/2012 vom 18. Juni 2012 E. 5 und bereits Urteil 2P.49/2004 vom 18. Februar 2004 E. 2.2; vgl. auch Art. 309 Abs. 3 StPO). Insofern ist nicht ersichtlich, wie im Rahmen der Anfechtung eines ablehnenden Ausstandsentscheids (ausserhalb der vom Verwaltungsgericht behandelten Nichtigkeit) Verfassungsrügen zu hören wären, die sich - ohne Verbindung zur geltend gemachten Befangenheit - auf die Eröffnung des Disziplinarverfahrens im Jahr 2013 beziehen (Rüge zur Verletzung der Privatsphäre aufgrund der Eröffnung des Hauptverfahrens). Wenn sich das Verwaltungsgericht demnach auf den Standpunkt stellt, dass eine weitere materielle Behandlung der Streitsache erst wieder anhand genommen werden könne, sobald über das Ausstandsbegehren gegen die Präsidentin der Kommission rechtskräftig entschieden ist, liegt darin keine Rechtsverweigerung. Schliesslich ist nicht erkennbar, inwiefern die zugrunde liegenden Entscheide über die Form der Verfahrenseröffnung (Zirkularverfahren) als geradezu nichtig einzustufen wären (vgl. <ref-ruling> E. 4.1 ff. S. 65 ff.; <ref-ruling> E. 3.1 S. 503 f., 137 I 273 E. 3.1 S. 275, 137 III 217 E. 2.4.3 S. 225, <ref-ruling> E. 3.3 S. 495).
Streitgegenstand bildet nach dem Gesagten einzig das Ausstandsgesuch gegen Marie-Louise Stamm. Insofern Aspekte der Rügen zum Zirkularverfahren und der Eröffnung des Disziplinarverfahren vom Beschwerdeführer (auch) auf die Befangenheitsrüge bezogen werden, werden sie im materiellen Teil geprüft.
2.
Der Beschwerdeführer bringt vor, die Präsidentin der Aufsichtskommission der Anwälte erwecke infolge Kompetenzüberschreitung, mangelhafter Beweiserhebung, der Einleitung des Disziplinarverfahrens sowie des Unterlassens einer Verdachtsmeldung den Anschein der Befangenheit. Indem die Vorinstanz das Ausstandsbegehren gegen sie ablehne, würde sein Recht auf eine korrekt besetzte Entscheidbehörde (Art. 29 und 30 BV sowie Art. 6 EMRK) sowie sein Recht auf Privatleben (Art. 13 BV) und Bestimmungen des Bundesgesetzes über die Freizügigkeit der Anwältinnen und Anwälte (Anwaltsgesetz; BGFA; SR 935.61) verletzt.
2.1. Wie die Vorinstanz darlegt, besteht die Aufsichtskommission über die Anwältinnen und Anwälte des Kantons Basel-Stadt paritätisch aus Mitgliedern der Gerichte und der Advokatenkammer Basel (§§ 18 Abs. 2 und 3 sowie 21 Abs. 2 des Advokaturgesetzes vom 15. Mai 2002 des Kantons Basel [AdvG/BS]). Die Mitglieder der Aufsichtskommission werden nicht vom Grossen Rat oder vom Regierungsrat gewählt, sondern es handelt sich um eine vom Appellationsgericht bestellte Kommission (§ 18 Abs. 2 AdvG/BS). Die Aufsichtskommission ist zuständig zur Beurteilung des Verhaltens von Angehörigen der Anwaltschaft, welches als mögliche Pflichtverletzung des Advokaturgesetzes und des Anwaltsgesetzes Grund zur Verhängung einer Disziplinarmassnahme sein kann (Art. 12 ff. BGFA); ihre Entscheide sind mit Rekurs beim Verwaltungsgericht anfechtbar (§ 21 Abs. 3 AdvG/BS). Die Anwaltskommission sanktioniert demnach Verstösse gegen die dem Rechtsanwalt durch die einschlägigen Gesetze auferlegten Pflichten zum Schutz des Publikums, der Rechtspflege und der Vertrauenswürdigkeit der Anwaltschaft. Auch wenn die Aufsichtskommission mit den Sanktionsbefugnissen teils gerichtsähnliche Aufgaben wahrnimmt, steht sie dem Rechtsanwalt, der die Rechtmässigkeit ihrer Aufgabenwahrnehmung bestreitet, funktionell eher als Gegenpartei bzw. als Verwaltungsbehörde gegenüber (vgl. <ref-ruling> E. 2c bb S. 232 f. [Aufsichtskommission über die Rechtsanwälte des Kantons Zürich]; <ref-ruling> E. 4e S. 93 f. [Bündner Notariatsperson]; offengelassen im Urteil 2C_8/2007 vom 27. September 2007 E. 2.2).
2.2. Damit findet Art. 30 BV (Art. 6 EMRK) keine direkte Anwendung (vgl. auch Urteil 2C_187/2011 vom 28. Juli 2011 E. 3 nicht publ. in: <ref-ruling> ff.). Indessen gewährleistet auch Art. 29 Abs. 1 BV die vorliegend angerufene korrekte Besetzung der Entscheidbehörde; das Gebot der Unbefangenheit bildet einen Teilgehalt des Anspruchs auf gleiche und gerechte Behandlung (vgl. <ref-ruling> E. 5.2 S. 329; <ref-ruling> E. 2.2 S. 342 ff.; <ref-ruling> E. 3c S. 130; Urteile 2C_865/2010 vom 13. April 2011 E. 2.4; 2P.26/2003 vom 1. September 2003 E. 3.4; GEROLD STEINMANN, in: Ehrenzeller/Schindler/Schweizer/Vallender [Hrsg.], Die schweizerische Bundesverfassung, Kommentar, 3. Aufl. 2014, N. 34 ff. zu Art. 29 BV). Der Anspruch auf Unparteilichkeit der Verwaltungsbehörde bedeutet, dass kein befangenes Behördenmitglied am Entscheid mitwirken darf (Urteil 1C_388/2009 vom 17. Februar 2010 E. 4.1). In Analogie zu Art. 30 Abs. 1 BV verpflichtet Art. 29 Abs. 1 BV eine Amtsperson zum Ausstand, wenn Umstände vorliegen, die nach objektiven Gesichtspunkten geeignet sind, den Anschein der Befangenheit zu erwecken (vgl. <ref-ruling> E. 5.1 S. 125; <ref-ruling> E. 2.2 S. 3 f.; <ref-ruling> E. 2.1 S. 229). Wann Mitglieder einer Verwaltungsbehörde in den Ausstand zu treten haben, ergibt sich einerseits aus dem anwendbaren kantonalen Verfahrensrecht und andererseits aus den aus Art. 29 Abs. 1 BV herleitbaren Grundsätzen (vgl. <ref-ruling> E. 3b ff. S. 123 ff., 209 E. 8 S. 217 ff.; Urteile 2C_36/2010 vom 14. Juni 2010 E. 3.1; 2D_29/2009 vom 12. April 2011 E. 3.2). Bei Ausstandsbegehren gegen Verwaltungsbehörden ist den jeweiligen konkreten Verhältnissen, etwa der besonderen Verantwortung zur Erfüllung bestimmter öffentlicher Aufgaben, Rechnung zu tragen (<ref-ruling> E. 5.2 S. 329 f.; <ref-ruling> E. 8a S. 218; Urteil 2C_36/2010 vom 14. Juni 2010 E. 3.3).
2.3. Vorliegend macht der Beschwerdeführer geltend, die Befangenheit der Präsidentin der Aufsichtskommission ergebe sich zunächst aus Kompetenzüberschreitungen, namentlich indem diese zu behaupteten Telefonaten "auch an Samstagen und Sonntagen" und einem nachmittäglichen Restaurantbesuch mit der Klientin sowie zu einer behaupteten Einladung (zum Backen) Auskunft verlangt und damit das Privatleben des Beschwerdeführers "ausgeforscht" habe. Das Verhalten der Präsidentin sei auch insofern zu beanstanden, als die Beweise mangelhaft erhoben würden, indem die Klientin nicht selbst (unverfälscht) zu Wort gekommen sei und seine Verfahrensinteressen in einer Weise missachtet worden seien, die nicht mehr als neutral und unvoreingenommen bezeichnet werden könne. Die Präsidentin habe sodann umgehend ("vorschnell") einen Antrag auf Einleitung des Disziplinarverfahrens gestellt, was den Anschein einer zum Voraus fest gebildeten Meinung erwecke. Der ablehnende Entscheid über das Ausstandsbegehren sei in unzulässiger Form ergangen, und entgegen seiner Bitte, einen Verdacht auf Urkundenfälschung durch die behandelnde Psychiaterin bei der Staatsanwaltschaft zu melden, habe die Präsidentin schliesslich auch diese Anzeige unterlassen.
2.3.1. Entgegen der Auffassung des Beschwerdeführers sind Vorwürfe, die das persönliche Verhalten des Beschwerdeführers gegenüber der Mandantin zum Inhalt haben, einem Disziplinarverfahren zugänglich (vgl. <ref-ruling> E. 6.3 und 7.2 S. 428 ff.; Urteile 2C_1138/2013 vom 5. September 2014 E. 2; 2C_257/2010 vom 2. August 2010 E. 3.3; 2P.318/2006 vom 27. Juli 2007 E. 12). Der Umstand, dass ein entsprechendes Verfahren eröffnet wird, und dass bei den erhobenen Vorwürfen rund um die Vertretung im Verfahren um fürsorgerische Freiheitsentziehung eine Untersuchung teils privater Gegebenheiten erfolgt, legt weder eine offensichtliche Kompetenzüberschreitung noch den Anschein der Befangenheit seitens der Präsidentin der Anwaltsaufsichtskommission nahe. Auch der Umstand, dass ein Disziplinarverfahren vor dem Hintergrund der erhobenen Vorwürfe vorliegend umgehend eingeleitet wurde, kann nicht als "mangelnde persönliche Distanz zur Sache" angesehen werden. Inwiefern die privaten Gegebenheiten für die Untersuchung der Beziehung des Beschwerdeführers zu seiner ehemaligen Mandantin darüber hinaus verhältnismässig erforscht werden, lässt sich erst nach dem Gang der Untersuchung, nicht bereits im Zusammenhang mit dem verfahrensleitenden Entscheid über das gestellte Ausstandsbegehren beurteilen. Vielmehr ist im Verfahren - wie das Verwaltungsgericht korrekt darlegt -, zu prüfen, ob und gegebenenfalls inwieweit die behaupteten Handlungen stattgefunden haben und inwiefern sie disziplinarrechtlich relevant sind. Aus der Verfahrenseröffnung und den Abklärungen in privaten Belangen ergeben sich keinerlei Hinweise auf eine Befangenheit der Präsidentin.
2.3.2. Der Beschwerdeführer bringt vor, den Akten des Strafverfahrens (vgl. hiervor Sachverhalt Ziff. D) lasse sich entnehmen, dass seine ehemalige Mandantin "nichts gegen ihn habe unternehmen wollen", sondern hierzu von ihrer Psychiaterin gedrängt worden sei. Die in den Akten festgehaltenen Aussagen stünden dem Inhalt der Aufsichtsanzeige entgegen, wonach der Beschwerdeführer seine ehemalige Mandantin an den Knien bzw. Oberschenkeln berührt und sie umarmt habe. Seine ehemalige Mandantin sei vor diesem Hintergrund anzuhören. Den Vorbringen ist entgegenzuhalten, dass gemäss den Sachverhaltsfeststellungen der Vorinstanz die Anzeige von Dr. B._ mit Vollmacht der ehemaligen Mandantin des Beschwerdeführers verfasst und eingereicht wurde. Für die Einleitung des Aufsichtsverfahrens kann es sodann nicht entscheidend sein, ob und inwieweit C._ mit der Einreichung der Anzeige einverstanden war und inwiefern sie die Vorwürfe selbst vorbringen wollte: Sobald die Aufsichtsbehörde von Umständen Kenntnis erhält, die unter das Disziplinarrecht fallen können, hat sie von Amtes wegen ein Verfahren zu eröffnen (vgl. § 24 Abs. 1 AdvG/BS). Sodann können verfahrensleitende Beschlüsse, die wie vorliegend rein prozessuale Fragen zum Inhalt haben, nicht als zivil- oder strafrechtliche Angelegenheiten im Sinne von Art. 6 Abs. 1 EMRK gelten. Der Beschwerdeführer vermag aus dieser Bestimmung für das Ausstandsbegehren keinen Anspruch auf eine mündliche Verhandlung abzuleiten (Urteile 8C_396/2013 vom 30. Januar 2014 E. 4.2; 8C_146/2013 vom 8. März 2013 E. 4; 5A_680/2009 vom 27. Januar 2010 E. 3.2.2; 1P.327/1996 vom 25. September 1996 E. 1b; vgl. Grabenwarter/Pabel, Europäische Menschenrechtskonvention, 5. Aufl., 2012, S. 390 f.). Die Vorwürfe zur Beweiserhebung ergeben keine Hinweise auf eine mögliche Befangenheit der Präsidentin der Aufsichtskommission.
2.3.3. Auch mit Blick auf das für das Ausstandsbegehren zur Anwendung gebrachte Verfahren ergeben sich keine Anzeichen auf eine Befangenheit der Präsidentin der Erstinstanz. Verfahrens- oder Rechtsfehler, die einem Gericht unterlaufen, vermögen den Anschein der Befangenheit nur zu begründen, wenn sie wiederholt begangen wurden oder besonders schwer wiegen (<ref-ruling> E. 2.3 S. 146; <ref-ruling> E. 3e S. 124 ; <ref-ruling> E. 3b S. 404; Urteil 5A_283/2014 vom 3. September 2014 E. 5 ["Amtspflichtverletzung"]); in Betracht kämen diesbezüglich etwa augenscheinlich unhaltbare Verfahrensabschlüsse oder ungewöhnlich häufige Prozessfehler (vgl. Urteile 1B_405/2014 vom 12. Mai 2015 E. 7.2; 1B_419/2014 vom 27. April 2015 E. 3.3 f.; 2C_1007/2013 vom 23. Mai 2014 E. 2.2). Die Vorinstanz hat dargelegt, wie sich die Form des Zirkulationsvefahrens - mangels prozeduraler Bestimmungen in Lückenfüllung des Advokaturgesetzes - aus dem thematisch verwandten Gesetz über die Verfassungs- und Verwaltungsrechtspflege vom 14. Juni 1928 (VRPG/BS) ergebe. Qualifizierte Verfahrensfehler, die die Unparteilichkeit der Präsidentin zu begründen vermöchten, sind nicht ersichtlich (vgl. § 25 Abs. 3 VRPG; vgl. auch Urteil 2C_133/2012 vom 18. Juni 2012 E. 5.3).
2.3.4. Der Beschwerdeführer rügt schliesslich eine unterlassene Meldung der ihn anzeigenden Psychiaterin bei den Strafbehörden durch die Präsidentin der Aufsichtskommission. Es ist zwar zutreffend, dass Personen, die in der Stellung als Mitglieder von Behörden oder als Bedienstete des Kantons Basel-Stadt oder einer baselstädtischen Gemeinde Kenntnis von Amtes wegen zu verfolgender Verbrechen oder Vergehen erhalten, diese anzuzeigen haben (vgl. § 35 Abs. 1 Gesetz über die Einführung der Schweizerischen Strafprozessordnung des Kantons Basel-Stadt vom 13. Oktober 2010). Dass es die Präsidentin der Aufsichtsbehörde indessen im Instruktionsverfahren - das heisst noch vor der Überprüfung der Anzeige durch die Kommission selbst -, unterlassen hat, Strafanzeige gegen Dr. B._ wegen Verdachts auf Urkundenfälschung bei der Staatsanwaltschaft einzureichen, ist ohne weiteres nachvollziehbar und deutet in keiner Weise auf die behauptete Voreingenommenheit der Präsidentin hin.
3.
Die Beschwerde erweist sich als unbegründet und ist abzuweisen. Der Beschwerdeführer trägt die Kosten des Verfahrens (Art. 66 Abs. 1 BGG). Eine Parteientschädigung ist nicht geschuldet (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht schriftlich mitgeteilt.
Lausanne, 7. Juli 2015
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Hänni