Sachverhalt: A. Mit Eingabe vom 22. Mai 2013 erstattete Dr. med. B._ mit Vollmacht ihrer Patientin C._ bei der Aufsichtskommission über die Anwältinnen und Anwälte (Aufsichtskommission) eine aufsichtsrechtliche Anzeige gegen den Advokaten lic. iur. A._. Gemäss dieser Anzeige soll A._ C._ im Rahmen ihrer Vertretung in einem Verfahren betreffend fürsorgerischer Freiheitsentziehung vor dem Vormundschaftsrat "körperlich und seelisch zu nahe gekommen" sein. Die Aufsichtskommission eröffnete in der Folge ein aufsichtsrechtliches Verfahren betreffend Einleitung eines Disziplinarverfahrens. Dieses wurde durch die Präsidentin der Aufsichtskommission, Dr. Marie-Louise Stamm, instruiert. B. Am 12. November 2013 beschloss die Aufsichtskommission, ein förmliches Disziplinarverfahren gegen A._ einzuleiten, was ihm am 20. November 2013 mitgeteilt wurde. Mit Eingabe vom 24. Dezember 2013 beantragte A._ den Ausstand von Marie-Louise Stamm. Dieses Gesuch wies die Aufsichtskommission in der hierfür vorgesehenen Besetzung, das heisst ohne Mitwirkung ihrer Präsidentin, mit Zwischenentscheid vom 18. September 2014 ab. Einen gegen diesen Entscheid geführten Rekurs hat das Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht am 3. Februar 2015 abgewiesen. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 15. April 2015 beantragt A._ dem Bundesgericht, es sei das Urteil vom 3. Februar 2015 aufzuheben und festzustellen, dass die im Zirkulationsverfahren ergangenen Entscheide der Aufsichtskommission betreffend Einleitung eines Verfahrens und Ausstand ungültig seien. Sodann sei festzustellen, dass die Präsidentin der Aufsichtskommission in den Ausstand zu treten habe. Ebenso sei festzustellen, dass das Verwaltungsgericht eine Rechtsverweigerung beging, weil es namentlich auf einen Rückweisungsantrag an die Aufsichtskommission nicht eingetreten war. Die Aufsichtskommission über die Anwältinnen und Anwälte sowie das Appellationsgericht des Kantons Basel-Stadt beantragen, die Beschwerde sei abzuweisen. Der Beschwerdeführer hält mit Eingabe vom 1. Juni 2015 an seinen Anträgen fest. D. Parallel zum vorliegenden Verfahren erstattete A._ am 29. August 2013 Strafanzeige gegen Dr. B._ wegen Verletzung des Berufsgeheimnisses und Ehrverletzung. Mit Verfügung vom 30. September 2013 sistierte die Staatsanwaltschaft Basel-Stadt die Ermittlungen, bis ein rechtskräftiger Entscheid der Aufsichtskommission über die Anwältinnen und Anwälte vorliege. Eine hiergegen beim Appellationsgericht geführte Beschwerde blieb erfolglos (Urteil vom 17. März 2014). Am 18. Juli 2014 hob das Bundesgericht das Urteil vom 17. März 2014 auf und wies die Staatsanwaltschaft Basel-Stadt an, das Strafverfahren wieder aufzunehmen. Im Übrigen lehnte es die Beschwerde ab (Urteil 1B_163/2014 vom 18. Juli 2014).