Sachverhalt:
A.
A.a. Im Rahmen einer Honorarstreitigkeit entband die Aufsichtskommission über die Anwältinnen und Anwälte im Kanton Zürich (Aufsichtskommission) Rechtsanwalt Dr. A._, Zürich, mit Beschluss vom 1. September 2016 vom Anwaltsgeheimnis gegenüber seinem Klienten B._. Gemäss Begründung und Dispositiv des genannten Beschlusses war dem gesuchstellenden Rechtsanwalt für die entsprechenden Verfahrenskosten kein Kostenvorschuss auferlegt worden. Vielmehr wurden die Verfahrenskosten mit Verfahrensabschluss dem unterlegenen Klienten auferlegt und diesem von der zuständigen, staatlichen Inkassostelle direkt in Rechnung gestellt.
A.b. Am 4. Dezember 2017 wandte sich B._ an die Aufsichtskommission und machte geltend, Rechtsanwalt Dr. A._ habe ihn am 6. November 2017 zur Rückvergütung des angeblich in vorgenanntem Verfahren (von Rechtsanwalt Dr. A._) bezahlten Kostenvorschusses aufgefordert und ihn schliesslich für diese Forderung auch betrieben. Nun habe er den Betrag von Fr. 600.-- doppelt bezahlt, nämlich an die Aufsichtskommission, wie in Rechnung gestellt, sowie über das zuständige Betreibungsamt an Rechtsanwalt Dr. A._. Die Aufsichtskommission eröffnete daraufhin gegen Rechtsanwalt Dr. A._ ein Disziplinarverfahren.
B.
Mit Beschluss vom 1. November 2018 bestrafte die Aufsichtskommission Rechtsanwalt Dr. A._ im genannten Disziplinarverfahren wegen Verletzung der Berufsregeln im Sinne von <ref-law> (anwaltliche Sorgfalt; Bundesgesetz vom 23. Juni 2000 über die Freizügigkeit der Anwältinnen und Anwälte; SR 935.61) mit einer Busse von Fr. 2'000.--. Die dagegen erhobene Beschwerde blieb gemäss Urteil des Verwaltungsgerichts des Kantons Zürich vom 23. Oktober 2019 erfolglos.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 9. Dezember 2019 beantragt Rechtsanwalt Dr. A._ (Beschwerdeführer), es sei von jeglicher Disziplinierung abzusehen. Anfechtungsobjekt bildet ausdrücklich das genannte Urteil des Verwaltungsgerichts des Kantons Zürich.
Während die Vorinstanz in ihrer Vernehmlassung vom 12. Dezember 2019 die Abweisung der Beschwerde beantragt, hat die Aufsichtskommission auf eine Vernehmlassung verzichtet.

Erwägungen:
1.
Gegen letztinstanzliche kantonale Endentscheide bezüglich Verletzung von Berufsregeln und Disziplinaraufsicht (Anwältinnen und Anwälte) steht, da es sich um eine Angelegenheit des öffentlichen Rechts handelt, die Beschwerde an das Bundesgericht offen (Art. 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 90 BGG). Der im vorinstanzlichen Verfahren unterlegene Beschwerdeführer ist zur Beschwerde legitimiert (<ref-law>), weshalb auf die frist- und formgerecht eingereichte Beschwerde einzutreten ist (Art. 100 Abs. 1, Art. 42 Abs. 1 BGG).
2.
2.1. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), prüft jedoch unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) nur die geltend gemachten Rechtsverletzungen, sofern rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.5 S. 144). In Bezug auf die Verletzung von Grundrechten gilt eine qualifizierte Rüge- und Substanziierungspflicht (<ref-law>; <ref-ruling> E. 2.2 S. 232; <ref-ruling> E. 2.5 S. 314).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Eine Berichtigung oder Ergänzung der vorinstanzlichen Sachverhaltsfeststellungen ist von Amtes wegen (<ref-law>) oder auf Rüge hin (<ref-law>) möglich. Von den tatsächlichen Grundlagen des vorinstanzlichen Urteils weicht das Bundesgericht jedoch nur ab, wenn diese offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen und die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (<ref-law>; <ref-ruling> E. 1.6 S. 144 f.). Offensichtlich unrichtig bedeutet in diesem Zusammenhang willkürlich (<ref-ruling> E. 4.1.2 S. 62). Eine Sachverhaltsrüge ist substanziiert vorzubringen; auf rein appellatorische Kritik an der (vorinstanzlichen) Sachverhaltsfeststellung geht das Gericht nicht ein (<ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 10.1 S. 444 f.; <ref-ruling> E. 4.1.2 S. 62).
2.3. Diesbezüglich ist unbestritten, dass B._ auf die vorgenannte Aufforderung zur Rückvergütung (E-Mail Rechtsanwalt Dr. A._ vom 6. November 2017) umgehend mit E-Mail gleichen Datums antwortete, es fehle ein Nachweis der angeblich geleisteten Vorschusszahlung, und mit einem weiteren E-Mail an Rechtsanwalt Dr. A._ vom 7. November 2017 ausführte, nachdem letzterer keinen Nachweis der Vorschusszahlung geliefert habe, werde er (B._) die Zahlung an die Aufsichtskommission entrichten. Falls er (Rechtsanwalt Dr. A._) tatsächlich bereits gegenüber der Aufsichtskommission bezahlt habe, werde er das Geld sicher von dort zurück erhalten.
In seiner Beschwerdeschrift hält der Beschwerdeführer ausdrücklich fest, die Vorinstanz habe den Sachverhalt richtig festgestellt.
3.
3.1. Der Beschwerdeführer rügt in mehrfacher Hinsicht eine Verletzung des Anspruchs auf rechtliches Gehör (<ref-law>) und beruft sich diesbezüglich teilweise auch auf Art. 6 Ziff. 1 EMRK.
3.2.
3.2.1. Er macht zunächst geltend, die Begründung der Vorinstanz unterscheide sich grundlegend von jener der Aufsichtskommission (gemäss Beschluss vom 1. November 2018). So habe die Vorinstanz im angefochtenen Urteil im Gegensatz zur Aufsichtskommission nicht sein Versehen bezüglich Kostenauferlegung für disziplinierungswürdig erachtet, sondern dass er die Antworten von B._ auf seine E-Mail vom 6. November 2017 bezüglich Rückvergütung des Kostenvorschuss ignoriert habe (vgl. E. 2.3 oben). Die Vorinstanz habe ihm nicht die Gelegenheit gegeben, sich vorgängig zu dieser neuen Begründung zu äussern.
3.2.2. Art. 6 Ziff. 1 EMRK weist betreffend den Anspruch auf Begründung des Entscheids keinen über <ref-law> hinausgehenden Gehalt auf.
3.3.
3.3.1. Aus dem Anspruch auf rechtliches Gehör folgt kein Anspruch, zur rechtlichen Würdigung oder zur juristischen Begründung des Entscheides vorgängig angehört zu werden (<ref-ruling> E. 2.a S. 99.; Urteile 2C_933/2018 vom 25. März 2019 E. 4.2; 2C_17/2017 vom 22. Mai 2017 E. 3.2). Indessen ist das rechtliche Gehör zumindest der dadurch beschwerten Partei dann zu gewähren, wenn eine Behörde ihren Entscheid mit einer Rechtsnorm oder einem Rechtsgrund zu begründen beabsichtigt, die im bisherigen Verfahren nicht herangezogen wurden, auf die sich die beteiligten Parteien nicht berufen haben und mit deren Erhebung im konkreten Fall sie nicht rechnen konnten (<ref-ruling> E. 3.1 S. 108 f.; Urteile 2C_933/2018 vom 25. März 2019 E. 4.2; 2C_356/2017 vom 10. November 2017 E. 4.3; 2C_17/2017 vom 22. Mai 2017 E.3.2).
3.3.2. Wie die Begründung des Beschlusses der Aufsichtskommission vom 1. November 2018 zeigt, hat die Vorinstanz in ihrem Urteil im Vergleich zur Aufsichtskommission bezüglich des zu disziplinierenden Verhalten keine neuen Gründe herangezogen. Vielmehr stimmen die Begründungen der Aufsichtskommission und der Vorinstanz diesbezüglich im Wesentlichen überein. So hat auch die Aufsichtskommission ein Versehen des Beschwerdeführers bezüglich Leistung des Kostenvorschusses als wenig glaubhaft erachtet. Sie ist sogar zum Schluss gekommen, es könne mit an Sicherheit grenzender Wahrscheinlichkeit ausgeschlossen werden, dass der Beschwerdeführer diesbezüglich einem Irrtum erlegen sei. Wie die Vorinstanz beanstandete bereits die Aufsichtskommission, dass dem Beschwerdeführer spätestens aufgrund des E-Mail-Verkehrs vom 6./7. November 2017 mit B._ klar sein musste, dass er keinen Kostenvorschuss geleistet hatte bzw. dass er den Beschluss der Aufsichtskommission vom 1. September 2016 hätte konsultieren oder sich sonstwie hätte vergewissern müssen, ob er tatsächlich einen Kostenvorschuss bezahlt hatte. Eine Verletzung des rechtlichen Gehörs liegt demzufolge in diesem Zusammenhang nicht vor.
3.4.
3.4.1. Ebenso wenig kann dem Beschwerdeführer gefolgt werden, wenn er anschliessend geltend macht, die Vorinstanz habe sich nicht mit der am und nach dem 6. November 2017 erfolgten Korrespondenz seitens B._ ihm gegenüber auseinandergesetzt, insbesondere nicht mit seinem Argument, diese Korrespondenz habe ihn von einer Überprüfung der Kostenvorschusszahlung abgehalten. Eine diesbezügliche Begründung der Vorinstanz fehle. Auch darin erblickt der Beschwerdeführer eine Verletzung des Anspruchs auf rechtliches Gehör. Diesbezüglich ist unbestritten, dass B._ in seinen Zuschriften mehrfach die Mandatsführung des Beschwerdeführers heftig kritisierte.
3.4.2. Aus dem Anspruch auf rechtliches Gehör nach <ref-law> fliesst die Pflicht der Behörden, die Vorbringen des von einem Entscheid in seiner Rechtsstellung Betroffenen tatsächlich zu hören, zu prüfen und in der Entscheidfindung zu berücksichtigen (<ref-ruling> E. 5.2 S. 236; Urteile 2C_432/2016 vom 26. Januar 2018 E. 3.2.1; 2C_147/2017 vom 23. Januar 2018 E. 2.6.2). Zudem ergibt sich aus dieser Verfahrensgarantie die Begründungspflicht. Letztere verlangt allerdings nicht, dass sich das Gericht mit sämtlichen vorgebrachten Sachverhaltselementen, Beweismitteln und Rügen auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann es sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich das Gericht hat leiten lassen und auf die sich sein Entscheid stützt (<ref-ruling> E. 5.2 S. 70 f.; <ref-ruling> E. 4.1 S. 88 f.; Urteil 6B_651/2018 vom 17. Oktober 2018 E. 8.3.1). Die Begründungspflicht ist nur dann verletzt, wenn das Gericht auf die für den Ausgang des Verfahrens wesentlichen Vorbringen selbst implizit nicht eingeht (<ref-ruling> E. 5.2 S. 248 f.).
3.4.3. Der vorinstanzlichen Urteilsbegründung lässt sich entnehmen, dass die Vorinstanz sich der Zuschriften von B._ bewusst war und auch die diesbezüglichen Argumente des Beschwerdeführers gehört, diese jedoch als wenig überzeugend verworfen hat. So hat sie festgehalten, dass der Beschwerdeführer ungeachtet eines allfälligen schikanösen Verhaltens von B._ hätte verifizieren müssen, ob er tatsächlich einen Kostenvorschuss bezahlt hat (E. 3.2.2 angefochtenes Urteil), Ausserdem hat sie die vom Beschwerdeführer geltend gemachte Verärgerung bei der "Schuldzumessung" bzw. Höhe der Busse einbezogen (E. 4.2 und 4.3 angefochtenes Urteil). Eine Verletzung des rechtlichen Gehörs, insbesondere der Begründungspflicht, liegt demnach nicht vor.
3.4.4. Aus denselben Überlegungen ist auch der Einwand des Beschwerdeführers, die Vorinstanz habe sich nicht mit seinem Argument auseinandergesetzt, er sei von einer langjährigen und gefestigten Praxis der Aufsichtskommission ausgegangen (wonach bei Gesuchen um Entbindung vom Anwaltsgeheimnis stets der Anwalt einen Kostenvorschuss leiste), nicht stichhaltig. Die Vorinstanz hat in ihrer Urteilsbegründung das entsprechende Argument des Beschwerdeführers erwähnt und die "vermeintliche Praxis" kurz angesprochen, aber nicht zugunsten des Beschwerdeführers berücksichtigt (E. 3.2.2 angefochtenes Urteil). Das rechtliche Gehör wurde somit nicht verletzt.
4.
Im Weiteren bringt der Beschwerdeführer im Wesentlichen vor, bei einer Respektierung des rechtlichen Gehörs sei evident, dass ihm ein entschuldbares Versehen unterlaufen sei. Demzufolge liege lediglich eine fehlerhafte Rechnungstellung gegenüber einem Klienten bzw. B._ vor, was gemäss bundesgerichtlicher Praxis nicht für eine Disziplinierung gemäss BGFA ausreiche. Wie dargelegt, wurde jedoch vorliegend der Anspruch auf rechtliches Gehör nicht verletzt, weshalb sich die Ausgangslage, insbesondere auch der beweiswürdigend festgestellte, rechtserhebliche Sachverhalt, anders präsentiert und es sich eben gerade - anders als im vom Beschwerdeführer angerufenen Urteil 2C_379/2009 vom 7. Dezember 2009 - nicht bloss um eine fehlerhafte Rechnungstellung handelt. Ein entschuldbares Versehen des Beschwerdeführers liegt nicht vor, weshalb seine diesbezüglichen rechtlichen Vorbringen ins Leere stossen. Sollte der Beschwerdeführer mit seinen diesbezüglichen Ausführungen sinngemäss eine Verletzung von <ref-law> rügen, erweist sich seine Rüge jedenfalls von vornherein als nicht stichhaltig.
5.
Die Beschwerde ist demzufolge unbegründet und somit abzuweisen. Bei diesem Verfahrensausgang sind die Gerichtskosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (Art. 65 und Art. 66 Abs. 1 BGG). Eine Parteientschädigung ist nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten des bundesgerichtlichen Verfahrens von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, schriftlich mitgeteilt.
Lausanne, 18. Mai 2020
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Quinto