Sachverhalt:
A. X._ absolvierte zwischen März und September 2009 den schriftlichen Teil der Rechtsanwaltsprüfung im Kanton Solothurn erfolgreich und wurde daher zur mündlichen Prüfung zugelassen. Dieser unterzog er sich im März 2010. Während er im Strafrecht/StPO mit "gut" und im Staats- und Verwaltungsrecht mit "gut - sehr gut" abschnitt, erzielte er im Fachbereich Zivilrecht/ZPO ein "ungenügend", weshalb die Prüfung als nicht bestanden gewertet wurde. Am 20. Mai 2010 präsentierte er sich ein zweites Mal zur mündlichen Prüfung. Im Strafrecht/StPO sowie im Staats- und Verwaltungsrecht wurden seine Leistungen je mit "gut - sehr gut", im Zivilrecht/ZPO aber erneut mit "ungenügend" bewertet. Am 27. Mai 2010 teilte ihm die Juristische Prüfungskommission mit, er habe aufgrund der ungenügenden Leistung in einem Fachbereich die Prüfung gesamthaft nicht bestanden, eine erneute Wiederholung sei ausgeschlossen. Dagegen erhob X._ Beschwerde beim Verwaltungsgericht des Kantons Solothurn (im Folgenden: Verwaltungsgericht). Dieses wies nach Durchführung einer mündlichen Verhandlung das Rechtsmittel mit Urteil vom 19. Januar 2011 ab.
B. Mit als subsidiärer Verfassungsbeschwerde bezeichneter Eingabe vom 3. März 2011 beantragt X._ dem Bundesgericht, das Urteil des Verwaltungsgerichts "und damit die Verfügung der Juristischen Prüfungskommission vom 27. Mai 2010 betreffend die Beurteilung der mündlichen Rechtsanwaltsprüfung des Beschwerdeführers vom 20. Mai 2010 im Fach "Zivilprozessrecht und Grundzüge des Zivilrechts" seien aufzuheben und zur neuen Entscheidung im Sinne der nachfolgenden Begründung an die Vorinstanz zurückzuweisen". Er macht zum einen geltend, die Regelung im Kanton Solothurn, welche bloss die einzelnen Noten isoliert betrachte und nicht auf den Notendurchschnitt abstelle, sei unverhältnismässig und verstosse gegen das Rechtsgleichheitsgebot und das Willkürverbot. Bei Bildung eines Notenschnitts hätte er die Prüfung bestanden. Zum anderen rügt er die Befangenheit der Prüfungsexperten im Fachbereich "Zivilrecht/ZPO".
Die Juristische Prüfungskommission stellt den Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Verwaltungsgericht beantragt Abweisung der Beschwerde.
Erwägungen:
1. 1.1 Angefochten ist ein letztinstanzlicher kantonaler Endentscheid in einer Materie des öffentlichen Rechts, der an sich mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht weitergezogen werden kann (Art. 82 lit. a, 86 Abs. 1 lit. d und 90 BGG). Gemäss Art. 83 lit. t BGG ist dieses Rechtsmittel jedoch unzulässig gegen Entscheide über das Ergebnis von Prüfungen und anderen Fähigkeitsbewertungen, namentlich auf den Gebieten der Schule, der Weiterbildung und der Berufsausübung. Allerdings greift diese Bestimmung nicht bei Entscheiden im Zusammenhang mit Prüfungen, die sich nicht auf die Beurteilung einer Leistung oder einer sonstigen Befähigung beziehen, sondern namentlich organisatorischer Natur sind. Ob der Ausschlussgrund zur Anwendung kommt, hängt grundsätzlich vom Gegenstand des angefochtenen Entscheids und nicht vom Inhalt der erhobenen Rügen ab (vgl. allg. BGE 136 I 229 E. 1 S. 231; 136 II 61 E. 1.1.1 S. 63; Urteile 2D_29/2009 vom 12. April 2011 E. 1.1; 2C_577/2009 vom 6. Januar 2010 E. 1.1; 2C_408/2009 vom 29. Juni 2009 E. 2; 2C_567/2007 vom 7. Dezember 2007 E. 1.3; 2D_7/2011 vom 19. Mai 2011 E. 1.1 und 1.2). Da es vorliegend um das Bestehen einer Prüfung und letztlich um deren Beurteilung geht, ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Art. 83 lit. t BGG ausgeschlossen und - entsprechend der Rechtsmittelbelehrung der Vorinstanz - bloss die subsidiäre Verfassungsbeschwerde nach Art. 113 ff. BGG zulässig.
1.2 Das Rechtsbegehren des Beschwerdeführers enthält lediglich einen Aufhebungs- und Rückweisungsantrag. Das genügt - namentlich aufgrund der reformatorischen Natur der Beschwerde - an sich nicht (vgl. Art. 42 Abs. 1, 107 Abs. 2 und 117 BGG; BGE 133 III 489 E. 3 S. 489 f.; 134 III 379 E. 1.3 S. 383 f.). Allerdings ergibt sich aus der Begründung der Beschwerde sowie aus dem angefochtenen Entscheid hinreichend, dass der Beschwerdeführer entweder die Feststellung des Bestehens der Anwaltsprüfung und damit die Erteilung des Anwaltspatents anstrebt oder hilfsweise um Wiederholung der mündlichen Prüfung im Fachbereich "Zivilprozessrecht und Grundzüge des Zivilrechts" bzw. subeventualiter der gesamten mündlichen Prüfung ersucht. Insoweit erweist sich seine Beschwerde in Bezug auf den Beschwerdeantrag als zulässig (vgl. BGE 133 II 409 E. 1.4.1 S. 414 f.; 134 III 235 E. 2 S. 236 f.; 136 V 131 E. 1.2 S. 135 f.).
1.3 Nicht einzutreten ist allerdings auf den Antrag, auch den Entscheid der Prüfungskommission aufzuheben. Dieser wurde durch das Urteil der Vorinstanz ersetzt. Er gilt immerhin als inhaltlich mitangefochten (sog. Devolutiveffekt, BGE 134 II 142 E. 1.4 S. 144).
2. 2.1 Das Bundesgesetz vom 23. Juni 2000 über die Freizügigkeit der Anwältinnen und Anwälte (Anwaltsgesetz, BGFA; SR 935.61) gewährleistet die Freizügigkeit der Anwälte und legt die Grundsätze für die Ausübung des Anwaltsberufs in der Schweiz fest (Art. 1 BGFA). Anwälte, die über ein kantonales Anwaltspatent verfügen und Parteien vor Gerichtsbehörden vertreten wollen, lassen sich ins Register des Kantons eintragen, in dem sie ihre Geschäftsadresse haben (Art. 6 Abs. 1 BGFA). Sind sie in einem solchen Register eingetragen, können sie in der ganzen Schweiz ohne weitere Bewilligung Parteien vor Gerichtsbehörden vertreten (Art. 4 BGFA). Ein Anwaltspatent wird von den Kantonen gemäss Art. 7 Abs. 1 Satz 2 BGFA nur auf Grund folgender fachlicher Voraussetzungen erteilt: Ein juristisches Studium, das mit einem Lizentiat oder Master einer schweizerischen Hochschule oder einem gleichwertigen Hochschulstudium eines Staates abgeschlossen wurde, der mit der Schweiz die gegenseitige Anerkennung vereinbart hat (lit. a) sowie ein mindestens einjähriges Praktikum in der Schweiz, das mit einem Examen über die theoretischen und praktischen juristischen Kenntnisse abgeschlossen wurde (lit. b). In diesem Rahmen bleibt gemäss Art. 3 Abs. 1 BGFA das Recht der Kantone gewahrt, die Anforderungen für den Erwerb des Anwaltspatents festzulegen. Nach dem Dargelegten liegen namentlich Gestaltung, Inhalt und Bewertung der Anwaltsprüfung weitgehend in der Kompetenz der Kantone (vgl. BGE 131 I 467 E. 3.3 S. 474; Bohnet/Martenet, Droit de la profession d'avocat, 2009, S. 246 ff. Rz. 558 f und 564 f.; Staehelin/Oetiker, Kommentar zum Anwaltsgesetz, Fellmann/Zindel [Hrsg.], 2005, N. 18 ff. zu Art. 7 BGFA; Hans Nater, ebenda, N. 3 zu Art. 3 BGFA; Bohnet/Othenin-Girard/Schweizer, Commentaire romand, Loi sur les avocats, 2010, N. 7 ff. zu Art. 3 BGFA; Meier/Reiser, ebenda, N. 3 und 43 zu Art. 7 BGFA).
2.2 Im Kanton Solothurn erteilt der Regierungsrat das Patent als Rechtsanwalt an Personen, die eine Prüfung bestanden haben (§ 6 des Solothurner Gesetzes vom 10. Mai 2000 über die Rechtsanwälte und Rechtsanwältinnen [AnwG/SO; BGS 127.10]). Er regelt die Prüfung in einer Verordnung (§ 7 Abs. 4 AnwG/SO). Das ist in der Juristischen Prüfungsverordnung vom 4. Juli 2000 (JPV/SO; BGS 128.213) erfolgt. Danach setzt sich die Prüfung aus schriftlichen Arbeiten und einem mündlichen Examen zusammen (§ 10 Abs. 1 JPV/SO). Die Leistungen werden mit den Prädikaten "sehr gut", "gut", "befriedigend", "genügend" und "ungenügend" bewertet (§ 11 Abs. 1 JPV/SO). Das Schlussprädikat ist das Mittel aus den Prädikaten der einzelnen schriftlichen Prüfungen und der mündlichen Prüfung (§ 11 Abs. 2 JPV/SO). Die schriftliche Anwaltsprüfung umfasst die Abfassung eines Urteils, einer Rechtsschrift oder eines andern praxisbezogenen Schriftsatzes in einem Zivilprozess, in einem Strafprozess und in einem Fall aus dem Staats- oder Verwaltungsrecht, wobei je acht Stunden pro Prüfungsfach zur Verfügung stehen (§ 15 Abs. 1 und 2 JPV/SO). Gemäss § 15 Abs. 3 JPV/SO umfasst die mündliche Prüfung das Zivilprozessrecht sowie Grundzüge des Zivilrechts (lit. a), das Strafprozessrecht sowie Grundzüge des Strafrechts (lit. b) und das Staats- und Verwaltungsrecht (lit. c). Sie dauert pro Prüfungsfach 20 Minuten (§ 10 Abs. 4 JPV/SO). Die Zulassung zur mündlichen Prüfung setzt voraus, dass jede schriftliche Arbeit mindestens mit "genügend" bewertet wurde (§ 12 Abs. 1 JPV/SO). Die mündliche Prüfung ist gemäss § 13 Abs. 2 Satz 1 JPV/SO bestanden, wenn in jedem Fach mindestens das Prädikat "genügend" erteilt wird. Sie kann als Ganzes ein Mal wiederholt werden (§ 13 Abs. 2 Satz 2 JPV/SO).
3. 3.1 Weil der Beschwerdeführer sowohl bei der ersten mündlichen Prüfung als auch bei der Wiederholungsprüfung in einem Fach das Prädikat "ungenügend" erhielt, verfügte die Prüfungskommission gestützt auf § 13 Abs. 2 JPV/SO, dass die Prüfung gesamthaft nicht bestanden und eine weitere Wiederholung ausgeschlossen sei. Der Beschwerdeführer beanstandet an sich nicht (s. allerdings E. 4 hienach), dass ein Prüfungsteil als ungenügend bewertet wurde. Er ist aber der Auffassung, die Regelung des § 13 Abs. 2 Satz 1 JPV/SO, wonach in jedem mündlich geprüften Fach mindestens das Prädikat "genügend" erreicht werden müsse, verletze das Rechtsgleichheitsgebot nach Art. 8 Abs. 1 BV, das Willkürverbot nach Art. 9 BV und sei unverhältnismässig. Er macht sinngemäss geltend, Kandidaten mit drei "Minimalprädikaten genügend" erhielten das Anwaltspatent, während diejenigen - wie er - mit zwei guten oder sehr guten Leistungen und einer ungenügenden Wertung vom Anwaltsberuf ausgeschlossen würden. Dabei hätten Letztere einen gleichen oder gar einen besseren Notenschnitt als diejenigen mit bloss genügenden Bewertungen. Es sei insoweit "fraglich", ob der Schutz des rechtsuchenden Publikums bei sechs knapp genügenden Noten besser gewährleistet sei. Der Notenschnitt sei letztlich das wesentliche Vergleichsmerkmal der Leistungen von Prüfungskandidaten. Unter dem Gesichtspunkt der Verhältnismässigkeit sei es "nicht tragbar", dass von sechs Teilprüfungen keine einzige ungenügend ausfallen dürfe. Etliche andere Kantone mit ungefähr gleich vielen Teilprüfungen würden zudem eine Kompensation einer ungenügenden Note mit anderen, besseren Noten ermöglichen.
3.2 Das Vorbringen des Beschwerdeführers erschöpft sich über weite Strecken in appellatorischer Kritik und genügt insoweit nicht den Begründungsanforderungen an Verfassungsrügen (vgl. Art. 42 Abs. 2 und 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4 S. 254 f., 396 E. 3.2 S. 400). Zudem kann der Grundsatz der Verhältnismässigkeit als bloss verfassungsmässiges Prinzip und nicht als verfassungsmässiges Recht im Rahmen der subsidiären Verfassungsbeschwerde nicht selbständig angerufen werden. Ausserhalb des Schutzbereichs eines - nach Art. 106 Abs. 2 BGG ausdrücklich anzurufenden - Grundrechts rechtfertigt sich eine Intervention des Bundesgerichts mit Blick auf das Verhältnismässigkeitsprinzip im Übrigen nur, wenn insoweit zugleich ein Verstoss gegen das Willkürverbot vorliegt (vgl. Art. 116 BGG; BGE 134 I 153 E. 4 S. 156 ff.).
3.3 Wie ausgeführt (E. 2.1 hievor), hat jeder Kanton nach wie vor das Recht, die Anforderungen für den Erwerb des kantonalen Anwaltspatents selbst festzulegen. Insoweit geht der Vorwurf des Verstosses gegen das Rechtsgleichheitsgebot durch den Vergleich mit den Prüfungsordnungen anderer Kantonen von vornherein fehl (BGE 131 I 467 E. 3.3 S. 474; vgl. auch BGE 125 I 173 E. 6d S. 179). Daran ändert entgegen der Ansicht des Beschwerdeführers nichts, dass Kandidaten, die in einem anderen Kanton eine ungenügende Note mit besseren Noten ausgleichen dürfen, hernach gemäss Art. 4 ff. BGFA ebenfalls im Kanton Solothurn als Anwälte praktizieren können. Der Beschwerdeführer behauptet auch nicht, der Inhalt der Prüfung und deren Bewertung seien in den Kantonen, welche die erwähnte Kompensation ermöglichen, identisch mit der Prüfung und Bewertung im Kanton Solothurn. Er macht nur geltend, dass jene anderen Kantone teilweise eine ähnlich geringe Anzahl von Einzelprüfungen aufwiesen. Das allein führt jedoch nicht dazu, dass unter dem Gesichtspunkt der Rechtsgleichheit auch im Kanton Solothurn die Kompensation einer ungenügenden Note zu gewähren ist. Ebenso wenig ist der vom Beschwerdeführer angestellte blosse Vergleich mit den Regelungen mehrerer anderer Kantone, die eine ungenügende Note unter Umständen hinnehmen, geeignet, bereits die Willkür der interessierenden Solothurner Bestimmung zu begründen. Wie die Vorinstanzen zudem richtig bemerken, besteht in den Kantonen Luzern und Zug eine ähnliche Regelung wie in § 13 Abs. 2 JPV/SO.
3.4 Soweit der Beschwerdeführer auf einen Vergleich mit innerkantonalen Kandidaten abstellt, die "bloss" genügende Leistungen erbringen, führt die Vorinstanz aus, dass es sachlich gerechtfertigt sei, diesen Personen das Anwaltspatent zu erteilen und denjenigen mit einer ungenügenden Leistung zu verweigern. Zum einen seien die Erwartungen und Anforderungen an einen Anwalt, der rechtsuchende Bürger vor Gericht vertreten könne, generell hoch, weshalb auch die Prüfungsanforderungen hoch sein dürften (vgl. BGE 113 Ia 286 E. 4a und c S. 289 f.). Zum anderen bestehe nach Art. 12 lit. g BGFA die Verpflichtung, amtliche Pflichtverteidigungen und Rechtsvertretungen im Rahmen der unentgeltlichen Rechtspflege zu übernehmen. Diese Mandanten seien in besonderem Masse darauf angewiesen, dass sie ein Anwalt vertrete, der in allen Rechtsgebieten über genügende Kenntnisse verfügt. Mit diesen Argumenten befasst sich der Beschwerdeführer - abgesehen von seinem Hinweis auf die Prüfungsordnungen anderer Kantone - nicht näher, weshalb schon fraglich ist, ob auf seine entsprechende Rüge überhaupt einzutreten ist (vgl. E. 3.2 hievor und BGE 134 V 53 E. 3.3 S. 60).
Unter dem Blickwinkel von Art. 8 BV ist dem Beschwerdeführer zunächst entgegenzuhalten, dass die Situation zwischen Kandidaten, die alle Prüfungsteile bestanden haben, und denjenigen, die bei einem Prüfungsteil gescheitert sind, offensichtlich nicht die gleiche ist. Es ist ihm zwar Recht zu geben, dass der Notendurchschnitt des Kandidaten mit einer ungenügenden Bewertung und mehreren befriedigenden, guten bis sehr guten Bewertungen besser sein kann als derjenige eines Konkurrenten mit bloss genügenden Bewertungen. Der Beschwerdeführer übersieht jedoch, dass das Anwaltspatent einen Leistungsausweis bzw. eine Berufszulassung für alle wesentlichen Rechtsgebiete darstellt. Der Bewerber, der das Anwaltspatent erhält, kann ohne Einschränkung grundsätzlich in allen Rechtsgebieten als Anwalt auftreten. Das rechtsuchende Publikum, das einen Anwalt auswählt, weiss dabei nicht, in welchem Gebiet der Anwalt allenfalls ungenügende Resultate erzielt hatte. Zudem bedarf es auch für in einem Fachbereich spezialisierte Anwälte genügender Kenntnisse in allen wesentlichen Rechtsgebieten. Anders können Rechtsfälle oft nicht angemessen behandelt werden. Daher bestehen ernsthafte sachliche Gründe dafür, dass im Kanton Solothurn in der mündlichen Prüfung eine genügende Note in allen drei erwähnten Rechtsgebieten verlangt wird, zumal sich das Gesamtergebnis - wie auch die Vorinstanz bemerkt - nur aus wenigen Prüfungsnoten zusammensetzt und der beim Beschwerdeführer als ungenügend bewertete Prüfungsteil nicht ein für Anwälte seltenes Spezialgebiet betraf.
Der Beschwerdeführer meint zwar noch, ein "Blackout" oder "einzelner Aussetzer" an einer einzigen mündlichen Prüfung dürfe nicht das definitive "Aus" für einen Kandidaten bedeuten. Er verkennt jedoch, dass er sowohl im ersten Anlauf als auch in der Wiederholungsprüfung den mündlichen Teil zum Zivilprozessrecht und Zivilrecht nicht bestanden hat. Mithin hat er von insgesamt sechs mündlichen Teilprüfungen immerhin zwei nicht bestanden. Es kann daher nicht von einem einmaligen Ausreisser die Rede sein. Ausserdem beruhte die Bewertung der als "ungenügend" qualifizierten mündlichen Teilprüfung nicht bloss auf der Antwort zu einer einzigen Rechtsfrage, sondern zu diversen Themen (Kündigung, Lohnfortzahlung, Gerichtszuständigkeit, Parteientschädigung, unentgeltliche Rechtspflege), zu welchen der Beschwerdeführer jeweils fehlerhafte oder unzureichende Ausführungen machte.
3.5 Nach dem Dargelegten gehen die vom Beschwerdeführer - soweit überhaupt hinreichend - geltend gemachten Rügen, der angefochtene Entscheid bzw. § 13 Abs. 2 JPV/SO sei unverhältnismässig und verstosse gegen das Rechtsgleichheitsgebot oder gegen das Willkürverbot (dazu allg. BGE 136 II 120 E. 3.3.2 S. 127 f.; 134 I 140 E. 5.4 S. 148; 131 I 1 E. 4.2 S. 6 f.; 123 I 1 E. 6a S. 7 f.; je mit Hinweisen), fehl.
4. Der Beschwerdeführer rügt schliesslich eine Verletzung von Art. 29 Abs. 1 BV wegen Befangenheit der Personen, welche die mündliche Prüfung zum Zivilprozessrecht und zu den Grundzügen des Zivilrechts abgenommen hätten (vgl. allg. BGE 125 I 119 E. 3 S. 122 ff.). Das habe sich erst im Laufe der zweiten mündlichen Prüfung herausgestellt, weshalb er ein Ausstandsgesuch nicht vorab bei Mitteilung der Namen der Examinatoren habe stellen können. Insoweit beanstandet er, dass er bei der Wiederholungsprüfung wie schon bei der ersten Prüfung durch denselben Prüfungsausschuss überwiegend zum Arbeitsrecht befragt worden sei. Damit hätten die Prüfungsexperten auf seine bei der ersten Prüfung offenbarte "Achillesferse" abgezielt.
Die Vorinstanzen haben ausgeführt, dass die erneute Wahl des Arbeitsrechts als Prüfungsgebiet nicht im Bewusstsein um die Teilnahme des Beschwerdeführers erfolgt sei und sich daher auch nicht gegen ihn gerichtet habe. Dass diese Sachverhaltsfeststellung willkürlich sei, legt der Beschwerdeführer nicht dar und ist auch nicht ersichtlich (vgl. Art. 97 und 105 BGG). Zudem bemerkt die Vorinstanz zu Recht, dass das Arbeitsrecht im Berufsalltag von Anwälten einen bedeutsamen Platz einnimmt. Es wäre daher gerade von einem Kandidaten, der in der ersten Prüfung erhebliche Lücken in diesem Bereich aufgewiesen hatte, zu erwarten gewesen, dass er sich vor dem Antritt zur Wiederholungsprüfung eingehender als bisher mit dem Arbeitsrecht befasst. Ausserdem würde es zu einer Ungleichbehandlung gegenüber anderen Kandidaten führen, wenn er darauf vertrauen dürfte, dass die im ersten Versuch geprüften Bereiche beim zweiten Durchgang nicht mehr Prüfungsgegenstand sein können. Der Beschwerdeführer weist zwar auch darauf hin, dass er seine ungenügende Leistung im Arbeitsrecht durch das Zivilprozessrecht kompensieren wollte, ihm dazu aber zu wenig Gelegenheit geboten worden sei. Er verschweigt indes, dass er bei der Wiederholungsprüfung auch im letztgenannten Rechtsbereich unzutreffende bzw. unvollständige Antworten gab, weshalb ihm der Prüfungsausschuss schliesslich die ungenügende Note erteilte.
Unbehelflich ist in diesem Zusammenhang schliesslich der Hinweis des Beschwerdeführers auf einen Regierungsratsbeschluss vom 4. Juli 2000, wonach das "materielle Bundesrecht (Zivil- und Strafrecht) [...] nicht den eigentlichen Prüfungsgegenstand, sondern [...] die Grundlage für die Lösung der Aufgaben zu einem Zivilprozess und einem Strafprozess" bilden solle. Ob es sich bei diesem neuen Vorbringen um ein aus dem Recht zu weisendes Novum handelt, kann offen gelassen werden (vgl. BGE 133 III 393 E. 3 S. 395, 638 E. 2 S. 640; 134 V 208 E. 3.6.1 S. 215 f.). Jedenfalls gibt der Beschwerdeführer den Regierungsratsbeschluss nur zum Teil wieder. Obschon die Prüfung keine Wiederholung des Lizentiates darstellen soll, muss sie sich auf das Wissen und die Fähigkeiten konzentrieren, die Anwälte aufweisen müssen (Ziff. 1.2 des Beschlusses). Dazu gehört - wie erwähnt - auch das Arbeitsrecht. Wie der Beschwerdeführer zudem einräumt, hatte er in den vorangegangenen knapp drei Jahren nahezu sämtlichen mündlichen Anwaltsprüfungen als Zuhörer beigewohnt. Insoweit behauptet er selber nicht, alle diese Prüfungen hätten mit Blick auf den Regierungsratsbeschluss noch nach einem völlig anderen Schema als seine Wiederholungsprüfung stattgefunden. Damit ist auch der Einwand der Befangenheit des Prüfungsausschusses unbegründet.
5. Dem Dargelegten zufolge ist die Beschwerde als unbegründet abzuweisen, soweit auf sie einzutreten ist. Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht zugesprochen (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- hat der Beschwerdeführer zu tragen.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 15. Juni 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Merz