Sachverhalt: A. Die am 9. Juli 1995 in Basel verstorbene M._ hatte zunächst E._ testamentarisch zum Alleinerben bestimmt. In einem vom 2. Dezember 1993 datierenden Testament setzte sie neu ihren Rechtsanwalt W._ als Alleinerben und Willensvollstrecker ein. Im Zusammenhang mit der Frage der Gültigkeit dieses zweiten Testaments sind mehrere Gerichtsverfahren zwischen E._ und W._ hängig; Ersterer wird dabei durch Rechtsanwalt P._ (Basel) vertreten. B. Am 25. März 2002 setzte Rechtsanwalt P._ namens seines Mandanten gegen W._ eine Forderung von 2 Mio. Franken in Betreibung; in diesem Umfang habe Letzterer aus dem Nachlass von M._ Zahlungen erhalten bzw. diesem Mittel entnommen. Am 26. Juni 2002 gelangte W._ an die Aufsichtskommission über die Rechtsanwälte im Kanton Zürich, bei welcher er gegen Rechtsanwalt P._ Anzeige erstattete, weil ihn dieser ohne vorgängige Ankündigung betrieben habe. Die Aufsichtskommission eröffnete ein Disziplinarverfahren betreffend "Sorgfalt und Geschäftstätigkeit" gemäss Art. 12 lit. a des Bundesgesetzes vom 23. Juni 2000 über die Freizügigkeit der Anwältinnen und Anwälte (Anwaltsgesetz, BGFA; SR 935.61) sowie betreffend "Geschäftsgebaren und Schaffung klarer Rechtsverhältnisse" gemäss § 7 Abs. 1 und § 8 Abs. 1 des Zürcher Gesetzes vom 3. Juli 1938 über den Anwaltsberuf (AnwG/ZH). Mit Beschluss vom 7. November 2002 disziplinierte sie P._ wegen Verstosses gegen letztere Bestimmungen mit einem Verweis; zudem auferlegte sie ihm Verfahrenskosten von insgesamt Fr. 1'372.-- und sprach dem Verzeiger eine Entschädigung von Fr. 500.-- zu. Auf den gegen diesen Entscheid eingereichten Rekurs trat die Verwaltungskommission des Obergerichts des Kantons Zürich nicht ein, weil sie nach dem Grundsatz der lex mitior das bisherige kantonale Recht als anwendbar betrachtete, womit die eidgenössische Verwaltungsgerichtsbeschwerde nicht gegeben sei und damit auch die Zuständigkeit der Verwaltungskommission als Rechtsmittelinstanz entfalle (Beschluss vom 18. August 2003). C. Am 19.September 2003 hat P._ beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht mit dem Antrag, den Entscheid der Verwaltungskommission aufzuheben und vom Verhängen einer Disziplinarmassnahme abzusehen; eventuell sei bloss eine Verwarnung auszusprechen und subeventuell die Sache an die Vorinstanz zurückzuweisen. W._ schliesst auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne, während die Aufsichtskommission über die Rechtsanwälte im Kanton Zürich und die Verwaltungskommission des Zürcher Obergerichts auf Stellungnahme verzichtet haben. Das Bundesamt für Justiz hat sich vernehmen lassen, ohne Antrag zu stellen. D. Mit Verfügung vom 14. Oktober 2003 hat das präsidierende Mitglied der II. öffentlichrechtlichen Abteilung der Beschwerde aufschiebende Wirkung erteilt.