Sachverhalt:
A. Im Jahre 1995 erlitt Y._ einen Verkehrsunfall. Rechtsanwalt Dr. X._ vertrat sie gegenüber der Z._ Versicherung, die Haftpflichtversicherer des Fahrzeugs des Unfallverursachers ist. Ein von Y._ gegen die Z._ Versicherung beim Handelsgericht des Kantons Zürich angestrengter Forderungsprozess wurde am 30. November 2006 als durch Vergleich erledigt abgeschrieben. Der tags zuvor abgeschlossene Vergleich enthielt unter der Ziffer 3 folgende Klausel: "Die Parteien verpflichten sich gegenseitig, diese Vereinbarung gegenüber jedermann streng vertraulich zu behandeln."
Im Zusammenhang mit dem Unfall hat die Schweizerische Unfallversicherungsanstalt (SUVA) Y._ gesetzlich vorgeschriebene Leistungen erbracht. Sie verhandelte erfolglos mit der Z._ Versicherung, bei welcher sie Regressforderungen geltend machte. Schliesslich wandte sie sich zwecks Prozessvertretung an X._. Y._ entband diesen hierfür am 15. Oktober 2008 vom Anwaltsgeheimnis. X._ nahm das Mandat der SUVA an und reichte am 27. Februar 2009 in deren Namen Klage auf Bezahlung der Regressforderungen gegen die Z._ Versicherung ein.
Am 4. Mai 2009 zeigte die Z._ Versicherung bei der Aufsichtskommission über die Anwältinnen und Anwälte des Kantons Zürich X._ an, weil er das Mandat der SUVA trotz der Vertraulichkeitsklausel, die im Vergleich mit Y._ vereinbart worden war, angenommen habe. Mit Beschluss vom 6. Mai 2010 bestrafte die Aufsichtskommission X._ wegen Verletzung von Art. 12 lit. a des Bundesgesetzes vom 23. Juni 2000 über die Freizügigkeit der Anwältinnen und Anwälte (Anwaltsgesetz, BGFA; SR 935.61) mit einer Busse von Fr. 2'500.--. Das dagegen erhobene Rechtsmittel wies das Verwaltungsgericht des Kantons Zürich am 23. September 2010 ab.
B. Mit Beschwerde vom 17. November 2010 beantragt X._ dem Bundesgericht, das Urteil des Verwaltungsgerichts und den Bussenentscheid der Aufsichtskommission aufzuheben und festzustellen, dass keine Verletzung von <ref-law> vorliege. Eventualiter sei die Busse in einen Verweis umzuwandeln oder "massiv" herabzusetzen.
C. Das Verwaltungsgericht stellt den Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Aufsichtskommission beantragt die Bestätigung des Entscheids des Verwaltungsgerichts.
D. Das Bundesgericht hat die Angelegenheit am 17. Juni 2011 öffentlich beraten.

Erwägungen:
1. Gemäss <ref-law> üben Anwälte ihren Beruf sorgfältig und gewissenhaft aus.
1.1 Die Vorinstanz führt aus, dass der Vertraulichkeitsklausel in dem zwischen der Unfallgeschädigten und der Z._ Versicherung abgeschlossenen Vergleich besonderes Gewicht zukomme. Das ergebe sich sowohl aus der Wortwahl als auch aus dem Umstand, dass sie in einer separaten Ziffer aufgeführt worden sei. Es verstehe sich von selbst, dass der Beschwerdeführer als Anwalt einer Vergleichspartei hievon nicht ausgenommen sein könne, andernfalls die Klausel keinen Sinn machen würde. Die Z._ Versicherung habe daher berechtigterweise und ohne weitere Präzisierungen nach Treu und Glauben darauf vertrauen dürfen, dass der Beschwerdeführer die Verschwiegenheitsklausel einhalte, was selbstredend auch die Hintergründe über das Zustandekommen des Vergleichs mitumfasse. Ihm als früherem Vertreter der Unfallgeschädigten seien sämtliche Hintergründe, welche zum Vergleich geführt hatten, zwangsläufig bekannt. Es sei wirklichkeitsfremd anzunehmen, der Beschwerdeführer habe sein umfassendes Wissen aus dem ersten Mandat bewusst oder unbewusst nicht auch für das zweite verwendet. Demnach sei seine Position keineswegs vergleichbar mit jener eines anderen Rechtsvertreters der SUVA, der am Prozess der Unfallgeschädigten (im Folgenden Erstprozess) nicht mitgewirkt habe. Für den in versicherungsrechtlichen Angelegenheiten versierten Beschwerdeführer habe zudem nicht überraschend sein können, dass die SUVA mit einer Regressforderung an die Z._ Versicherung gelangen würde, wobei die Einnahme unterschiedlicher Standpunkte zwischen der SUVA und einem Haftpflichtversicherer bei komplexen Angelegenheiten durchaus üblich sei. Daher gelte die Verschwiegenheitsklausel für Y._ und den Beschwerdeführer als deren Anwalt unzweifelhaft auch in Bezug auf die SUVA, zumal Letztere im Erstprozess nicht als Mitbeteiligte oder Partei aufgetreten sei. Angesichts der klar formulierten strengen Verschwiegenheitsklausel stehe fest, dass der Beschwerdeführer mit Übernahme des Mandats der SUVA das auf Treu und Glauben im Rechtsverkehr beruhende Vertrauen der Z._ Versicherung auf Diskretion verletzt habe. Unerheblich sei, ob er oder die Geschädigte gegenüber der SUVA informationspflichtig sei.
1.2 Der Beschwerdeführer macht sinngemäss geltend, <ref-law> schütze nicht die Gegenpartei, sondern nur die Beziehung des Anwalts zum Klienten sowie die Anwaltschaft als Funktion. Mit Blick auf die im Bereich der Unfallversicherung stattfindende Subrogation treffe die Unfallgeschädigte nach Art. 110 bzw. 170 Abs. 2 OR die gesetzliche Pflicht, der SUVA bei der Durchsetzung der übergegangenen Ansprüche beizustehen. Daher könne sich die Diskretionsklausel von vornherein nicht auf die SUVA erstrecken. Eine andere Auslegung der Klausel widerspreche Treu und Glauben und sei willkürlich. Im Übrigen habe die Z._ Versicherung erst im Zusammenhang mit der Anzeige bei der Aufsichtskommission erklärt, sie erwarte, dass Diskretion auch gegenüber der SUVA bewahrt werde, was er angesichts der gesetzlichen Regelung nicht hätte akzeptieren können.
1.3 Vorliegend wird dem Beschwerdeführer nicht ein Interessenkonflikt nach <ref-law> im Verhältnis zur früheren Klientin Y._ vorgeworfen. Insoweit hat die Vorinstanz festgestellt, dass ein solcher aufgrund der Akten nicht erstellt sei. Zwar haben Anwälte bei der sukzessiven Vertretung von Sozialversicherungsträgern und ihren Versicherten ein besonderes Augenmerk auf einen möglichen Interessenkonflikt zu richten. Dass ein solcher vorläge, wird jedoch von keiner Seite geltend gemacht. Die bloss abstrakte Möglichkeit des Auftretens von Differenzen zwischen den Mandanten reicht nicht aus, um bereits auf eine unzulässige Vertretung zu schliessen (vgl. dazu <ref-ruling> E. 4.2 S. 111 ff.; Urteile 2C_121/2009 vom 7. August 2009 E. 5.1 und 6P.108/2002 vom 28. Oktober 2002 E. 2).
Es geht auch nicht darum, dass dem Beschwerdeführer die Verletzung des Berufsgeheimnisses nach <ref-law> gegenüber Y._ vorgeworfen wird, da diese ihn hievon ausdrücklich für den Prozess zwischen der SUVA und der Z._ Versicherung entbunden hat. Die Vorinstanz wirft dem Beschwerdeführer bloss vor, er habe Treu und Glauben in Bezug auf die Z._ Versicherung und damit <ref-law> verletzt. Wie die Vorinstanz richtig bemerkt, stellt sich dabei nicht die Frage der Verletzung des Berufsgeheimnisses gemäss <ref-law>, da die Z._ Versicherung nicht Mandantin des Beschwerdeführers war. Als Gegenpartei ist sie keine Geheimnisträgerin im Sinne dieser Bestimmung.
1.4 Streitgegenstand bildet die Tragweite der Diskretionsklausel im Vergleich vom 29. November 2006. Die kantonalen Instanzen gehen zu Recht davon aus, dass sich die Verpflichtung zu Sorgfalt und Gewissenhaftigkeit auch auf die Beziehungen des Anwalts zur Gegenpartei - hier der Z._ Versicherung - erstreckt (<ref-ruling> E. 3.2 S. 276 mit Hinweis). Ebenso nehmen sie richtig an, dass die Vereinbarung der Vertraulichkeit zwischen den Parteien auch von den Anwälten zu beachten ist, die bei der Aushandlung des Vergleichs mitwirken, da die Diskretionsklausel andernfalls nicht die erwünschte Wirkung hätte. Eine Missachtung der vereinbarten Verschwiegenheit stellt deshalb eine Verletzung der anwaltlichen Pflicht zur sorgfältigen und gewissenhaften Berufsausübung nach <ref-law> dar. Der Anwalt darf den Inhalt von Vergleichsverhandlungen dem Gericht oder anderen Behörden insbesondere dann nicht bekannt geben, wenn sie ausdrücklich als vertraulich bezeichnet wurden (vgl. Urteil des Bundesgerichts 2A.658/2004 vom 3. Mai 2005 E. 3, in: RtiD 2005 II 288, mit Hinweis auf Standesregeln; Walter Fellmann, in: Kommentar zum Anwaltsgesetz, Fellmann/Zindel [Hrsg.], 2. Aufl. 2011, N. 24 und 24a zu <ref-law>; Kaspar Schiller, Schweizerisches Anwaltsrecht, 2009, S. 378 Rz. 1530; Bohnet/Martenet, Droit de la profession d'avocat, 2009, S. 509 f. Rz. 1187 f.; Michel Valticos, in: Commentaire romand, Loi sur les avocats, 2010, N. 58 zu <ref-law>). Der Beschwerdeführer bestreitet das nicht, macht aber geltend, die vereinbarte Diskretionsklausel finde gegenüber der SUVA keine Anwendung, wenn diese ihre Regressansprüche geltend mache.
1.5 Gegenüber demjenigen, der für einen Unfall haftet, tritt der Versicherungsträger - hier die SUVA - gemäss aArt. 41 des Bundesgesetzes vom 20. März 1981 über die Unfallversicherung [UVG; SR 832.20; AS 1982 1676] bzw. <ref-law> [SR 830.1] im Zeitpunkt des Ereignisses bis auf die Höhe der gesetzlichen Leistungen von Gesetzes wegen in die Ansprüche des Versicherten - hier der unfallgeschädigten Y._ - ein (sog. Subrogation; vgl. <ref-ruling> E. 3 S. 225; <ref-ruling> E. 3b S. 177; <ref-ruling> E. 3.4 S. 138 f.; je mit Hinweisen).
Übergangsrechtlich ist in diesem Zusammenhang grundsätzlich auf den Zeitpunkt des schädigenden Ereignisses abzustellen. Da sich der Unfall der Versicherten im Jahre 1995 ereignet hat, ist somit noch das damals geltende Recht und nicht das erst am 1. Januar 2003 in Kraft getretene ATSG anwendbar. Ab dem erwähnten Datum ist aber bezüglich Zuständigkeits- und Verfahrensbestimmungen das neue, aktuelle Recht auch in Bezug auf Unfälle anzuwenden, die sich zuvor ereignet haben (vgl. <ref-law>; <ref-ruling> E. 3 S. 189 f.; <ref-ruling> E. 4.3 S. 492; <ref-ruling> E. 1.1 S. 398).
1.6 Unstreitig ist, dass die SUVA im Rahmen der bundesgesetzlich geregelten Sozialversicherungen Leistungen an ihre Versicherte Y._ erbracht hat. Dementsprechend klärt die SUVA den Sachverhalt ab, sobald sie vom Unfall Kenntnis erhält (aArt. 47 Abs. 1 UVG, AS 1982 1676). Ihre Versicherte hat dabei soweit möglich mitzuwirken und alle erforderlichen Auskünfte wahrheitsgetreu und unentgeltlich zu geben (aArt. 47 Abs. 3 Satz 1 UVG sowie Art. 55 der Verordnung vom 20. Dezember 1982 über die Unfallversicherung [UVV; SR 832.202]). Zur Ermittlung des Sachverhalts kann der Sozialversicherer zudem die Bundes-, Kantons- oder Gemeindebehörden unentgeltlich in Anspruch nehmen (aArt. 47 Abs. 2 UVG). Ausserdem geben die Verwaltungs- und Rechtspflegebehörden des Bundes, der Kantone, Bezirke, Kreise und Gemeinden sowie die Organe der anderen Sozialversicherungen den mit der Durchführung des Unfallversicherungsgesetzes betrauten Organen auf schriftliche und begründete Anfrage im Einzelfall kostenlos diejenigen Daten bekannt, die erforderlich sind unter anderem für den Rückgriff auf haftpflichtige Dritte (aArt. 101 lit. d UVG und <ref-law>). Die Behörden leisten auch nach den seit dem 1. Januar 2003 geltenden Regelungen im selben Umfang Amts- und Verwaltungshilfe (<ref-law> und der weiterhin gültige <ref-law>). Ebenso haben die Versicherten nach <ref-law> sowie dem bereits erwähnten und nach wie vor geltenden <ref-law> beim Vollzug der Sozialversicherungsgesetze mitzuwirken. Das bezieht sich auch auf das Regressverfahren nach <ref-law> (Ueli Kieser, ATSG-Kommentar, 2. Aufl. 2009, N. 17 zu <ref-law>; vgl. auch Ghislaine Frésard-Fellay, Le recours subrogatoire de l'assurance-accidents sociale contre le tiers responsable ou son assureur, 2007, S. 92 ff. Rz. 294 ff.; Gerhard Stoessel, Das Regressrecht der AHV/IV gegen den Haftpflichtigen, 1982, S. 65).
1.7 Diese Regelungen sind namentlich darauf ausgerichtet, dass die Sozialversicherungen - hier die SUVA - beim Haftpflichtigen wirksam Regress nehmen können. Die Sozialversicherungen bzw. ihre Versicherten, welche Erstere durch ihre Beiträge finanzieren, sollen durch den Regress entlastet werden (<ref-ruling> E. 3 S. 225 mit Hinweisen). Deshalb können die Sozialversicherungen von Behörden und Gerichten sowie von den bei ihnen versicherten Personen, denen sie im Zusammenhang mit dem Unfall Leistungen erbringen, umfassende Auskunft verlangen, um anschliessend die Rückgriffsansprüche durchsetzen zu können. Der Haftpflichtige bzw. der Unfallverursacher und seine Haftpflichtversicherung sollen nicht dadurch besser gestellt werden, dass statt einem einzigen Anspruchsteller - dem Unfallgeschädigten - noch weitere Anspruchsteller - die Sozialversicherungen - ihnen gegenüber auftreten (vgl. <ref-ruling> E. 3 S. 225; <ref-ruling> E. 3b S. 177; <ref-ruling> E. 5b S. 294; Urteil 4P.322/1994 vom 28. August 1995 E. 2c; je mit Hinweisen). Alles was die SUVA zur Durchsetzung ihrer Rückgriffsansprüche gegen den Haftpflichtigen unternimmt, tut sie aus der Rechtsposition des Geschädigten heraus. Sie tritt gleichsam in dessen Fussstapfen und verfolgt ihren Rückgriff gegen den Haftpflichtigen "mit der Brille des Geschädigten" (Marc Hürzeler, in: Personenschadensrecht, Hürzeler/Tamm/Biaggi [Hrsg.], 2010, Rz. 432 und 439).
Insoweit kann die erwähnte Auskunftspflicht der Versicherten nicht durch eine Diskretionsklausel, welche im Rahmen eines Vergleichs zwischen diesen einerseits und dem Unfallgegner oder dessen Haftpflichtversicherer anderseits vereinbart wird, ausgeschlossen oder eingeschränkt werden. Die Unfallgeschädigte war demnach gegenüber der SUVA nicht zur Verschwiegenheit verpflichtet, soweit Letztere Informationen zur Geltendmachung ihrer Regressansprüche benötigte. Das betrifft auch den Inhalt des Vergleiches.
Die Vorinstanz äussert sich zu dieser Frage nicht, ist aber der Auffassung, der Beschwerdeführer hätte als in Versicherungssachen versierter Anwalt voraussehen müssen, dass die SUVA Regressansprüche geltend machen könnte. Sie leitet daraus ab, dass zumindest der Beschwerdeführer aufgrund dieses Umstands an die Diskretionsklausel gegenüber der SUVA gebunden sei. Eine allfällige Informationspflicht des Beschwerdeführers gegenüber der SUVA im Regressprozess würde im Übrigen nicht bedeuten, dass er als deren Rechtsvertreter alle seine Kenntnisse aus dem Vorprozess verwenden dürfe.
1.8 Die Diskretionsklausel hat gegenüber dem Beschwerdeführer grundsätzlich die gleiche Wirkung wie gegenüber der Geschädigten. Was die Letztere bekannt geben darf, muss auch er nicht verschweigen. Daran ändert der Umstand nichts, dass er bei Abschluss des Vergleichs mit der Möglichkeit eines Regressprozesses rechnen musste. Allerdings verfügt der Beschwerdeführer als Rechtsvertreter über besondere Kenntnisse des vergleichsweise abgeschlossenen Verfahrens, die er bei einer Übernahme eines Mandats der SUVA verwenden könnte und über die ein beigezogener anderer Anwalt auch aufgrund der Informationspflicht der Geschädigten nicht ohne weiteres verfügt.
Die kantonalen Instanzen betonen in diesem Zusammenhang die Bedeutung der Diskretion von Vergleichsverhandlungen. In diesem Sinne wird der Inhalt von Vergleichsgesprächen bei Gerichten regelmässig nicht protokolliert. Dadurch soll - auch im öffentlichen Interesse - die gütliche Beilegung von Streitigkeiten gefördert werden. Wenn Parteien eigene Aussagen, die sie im Rahmen von Vergleichsverhandlungen machen, später in Gerichtsverfahren entgegengehalten werden könnten, würden sie regelmässig nicht mehr offen über den Streitfall und über Möglichkeiten zu dessen Erledigung sprechen (vgl. erwähntes Urteil 2A.658/2004 E. 3.3; Schiller, a.a.O., S. 378 Rz. 1530; Fellmann, a.a.O., N. 24 und 24a zu <ref-law>).
Wohl kennt der Beschwerdeführer den Inhalt und die Hintergründe der Vergleichsgespräche. In dieser Situation befindet sich jedoch jeder Anwalt, der zum Beispiel nach gescheiterten Vergleichsverhandlungen, an denen er teilgenommen hat, einen Prozess anstrengt oder weiterführt. Er muss dann nicht wegen der Kenntnis des Inhalts der Vergleichsgespräche das Mandat niederlegen. Nicht anders kann es sich vorliegend verhalten. Gewiss könnte das Wissen des Beschwerdeführers über den Inhalt der Vergleichsgespräche zwischen Y._ und der Z._ Versicherung in gewisser Weise der SUVA zugute kommen. Wie jedoch ausgeführt, ist zum einen Y._ der SUVA umfassend auskunftsverpflichtet. Zum anderen darf es aufgrund der gesetzlich vorgesehenen Subrogation bzw. Regresssituation keinen Unterschied machen, dass für einen Teil der Schadenersatzansprüche die SUVA an die Stelle der Unfallgeschädigten tritt. Zudem musste die Z._ Versicherung schon anlässlich der Vergleichsverhandlungen mindestens damit rechnen, dass auch Sozialversicherungsträger mit Rückgriffsansprüchen an sie treten würden und Y._ insoweit von Gesetzes wegen Auskunftspflichten hatte.
Demnach ist nicht zu beanstanden, dass die SUVA vom Wissen des Anwalts aus dem Verfahren zwischen Y._ und der Z._ Versicherung profitieren kann. Der Beschwerdeführer darf dem Gericht im Verfahren der SUVA allerdings nicht bekannt geben, was anlässlich der Vergleichsverhandlungen im Verfahren zwischen Y._ und der Z._ Versicherung gesagt worden ist. Ein solcher Vorwurf wird dem Beschwerdeführer jedoch nicht gemacht. Das blosse Risiko, dass der Anwalt entsprechende Äusserungen machen könnte, genügt hingegen nicht, um ihm zu verbieten, die SUVA zu vertreten. Wie dargelegt, ist dieses Risiko nicht grundsätzlich anders als bei einem Anwalt, der eine Partei nach gescheiterten Vergleichsverhandlungen im anschliessenden streitigen Verfahren - zulässigerweise - vor Gericht weiter vertritt.
1.9 Demzufolge erweist sich der gegen den Beschwerdeführer erhobene Vorwurf der Verletzung von <ref-law> als bundesrechtswidrig. Somit ist die Beschwerde gutzuheissen und der angefochtene Entscheid des Verwaltungsgerichts aufzuheben.
2. Diesem Ausgang entsprechend sind für das bundesgerichtliche Verfahren keine Kosten zu erheben und dem Beschwerdeführer eine Parteientschädigung zuzusprechen (Art. 66 Abs. 1 und 4 sowie <ref-law>). Zur Neuregelung der Kosten- und Entschädigungsfolgen im Verfahren bei der Aufsichtskommission und beim Verwaltungsgericht wird die Sache an Letzteres zurückgewiesen (Art. 67 und 68 Abs. 5 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Zürich vom 23. September 2010 aufgehoben. Die Sache wird zur Neuregelung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an das Verwaltungsgericht zurückgewiesen.
2. Für das bundesgerichtliche Verfahren werden keine Kosten erhoben.
3. Der Kanton Zürich hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 3'000.-- auszurichten.
4. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Zürich, 3. Kammer, schriftlich mitgeteilt.
Lausanne, 17. Juni 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Merz