Sachverhalt: A. Rechtsanwalt E._ gelangte am 3. Januar 2007 an die Aufsichtskommission über die Anwältinnen und Anwälte im Kanton Zürich, um zwecks Geltendmachung einer offenen Honorarforderung vom Anwaltsgeheimnis entbunden zu werden. Mit Beschluss vom 1. Februar 2007 gab die Aufsichtskommission seinem Ersuchen statt, was die (angeblichen) Mandanten, welche sich der Entbindung vom Anwaltsgeheimnis widersetzt hatten - die Y._ AG und X._ -, erfolglos beim Verwaltungsgericht des Kantons Zürich anfochten (Entscheid vom 31. Mai 2007). B. Am 9. September 2007 haben X._ und die Y._ AG gemeinsam beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten eingereicht mit dem Antrag, sowohl den Entscheid des Verwaltungsgerichts als auch den Beschluss der Aufsichtskommission aufzuheben. Rechtsanwalt E._ schliesst auf Abweisung der Beschwerde, während das Verwaltungsgericht des Kantons Zürich beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Aufsichtskommission über die Anwältinnen und Anwälte im Kanton Zürich sowie das Bundesamt für Justiz haben je auf Stellungnahme verzichtet.