Sachverhalt: A. Am 14. Juli 2011 gelangte Rechtsanwalt B._ an die Aufsichtskommission über die Anwältinnen und Anwälte des Kantons Zürich. Er ersuchte um Entbindung vom Anwaltsgeheimnis gegenüber C.A._, A.A._ und B.A._, weil er sich in einem Mandatsverhältnis mit diesen wähnte und seine darauf basierenden Honoraransprüche durchsetzen wollte. Diesem Gesuch gab die Aufsichtskommission am 2. Februar 2012 mit Bezug auf A.A._ und B.A._ statt. Da C.A._ in der Zwischenzeit eine Entbindungserklärung unterzeichnet hatte, schrieb sie das ihn betreffende Verfahren ab. Diesen Entscheid bestätigte der Einzelrichter des Verwaltungsgerichts des Kantons Zürich mit Urteil vom 25. Oktober 2013. B. A.A._ und B.A._ (Beschwerdeführende) erheben gegen diesen Entscheid mit Eingabe vom 2. Dezember 2013 beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten. Sie beantragen, das verwaltungsgerichtliche Urteil sei aufzuheben und das Gesuch um Entbindung vom Berufsgeheimnis abzuweisen; eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Zugleich beantragten sie die Gewährung der aufschiebenden Wirkung. Diesem Gesuch entsprach der Abteilungspräsident mit Verfügung vom 23. Januar 2014. Das Verwaltungsgericht des Kantons Zürich (Vorinstanz) beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Aufsichtskommission hat auf eine Vernehmlassung verzichtet. Rechtsanwalt B._ (Beschwerdegegner) stellt seinerseits den Antrag, auf die Beschwerde sei nicht einzutreten, eventuell sei sie abzuweisen.