Sachverhalt: A. X._ ist Rechtsanwalt in Baden. Im Februar 2009 wurde er als amtlicher Verteidiger von A._ bestellt. Diesem wird mehrfache einfache Körperverletzung der Ehefrau und der Tochter, mehrfache Drohung gegen die Ehefrau sowie mehrfache Nötigung und sexuelle Nötigung der Ehefrau vorgeworfen. Nachdem X._ mehrmals mit der Ehefrau des Beschuldigten als mutmasslich Geschädigten und Zeugin telefonisch und persönlich Kontakt aufgenommen hatte, um von ihr Angaben zu den in Frage stehenden Vorkommnissen zu erhalten, erstattete das Bezirksamt Baden gegen ihn Anzeige bei der Anwaltskommission des Kantons Aargau wegen Verletzung der Berufsregeln. Diese belegte X._ mit einem Verweis. Seine dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Aargau am 23. Juni 2010 ab, soweit es darauf eintrat. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht, das erwähnte Urteil des Verwaltungsgerichts sowie den Entscheid der Anwaltskommission vom 22. Dezember 2009 aufzuheben. Die Anwaltskommission des Kantons Aargau stellt den Antrag, die Beschwerde abzuweisen. Das Verwaltungsgericht des Kantons Aargau hat auf eine Vernehmlassung verzichtet. C. Mit Verfügung vom 15. Dezember 2010 hat der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde aufschiebende Wirkung zuerkannt.