Sachverhalt:
A. Im August 2009 trat X._ (geb. 1997) nach Abschluss der Primarschule Thalwil in die Kantonsschule Freudenberg ein. Dort ergaben sich immer grössere Probleme, so dass X._ in die Kinderstation Brüschhalde des kantonalzürcherischen Kinder- und Jugendpsychiatrischen Dienstes übertrat. Die für X._ zuständigen Ärztinnen erkannten in ihm gemäss Bericht vom 15. Juni 2010 einen "hochbegabte(n) Jungen" mit grossen kognitiven Stärken "im wahrnehmungsgebundenen logischen Denken", was sich vor allem "in seiner ausserordentlichen mathematischen Begabung" zeige. Andererseits sei bei X._ die Diagnose für eine "Anpassungsstörung mit gemischter Störung der Gefühle und des Sozialverhaltens" und diejenige für einen "atypischen Autismus" erfüllt, weswegen "dringend die Beschulung in einer Kleinklasse (...) auf gymnasialem Niveau" empfohlen werde. In der Folge kehrte X._ an die Kantonsschule zurück und erhielt bis anfangs Dezember 2010 Einzelunterricht und sonderpädagogische Therapie.
B. Nach weiteren Abklärungen, einem "runden Tisch" unter Beizug der Eltern von X._ sowie aufgrund zusätzlicher Empfehlungen des Schulpsychologischen Dienstes Horgen erliess die Schulpflege Thalwil am 10. Mai 2011 folgende Verfügung:
"1. Für die Sonderschulung von X._ im Lernstudio Y._ in der 1. Klasse Z._ wird für den Rest des Schuljahres 2010/2011 vom 9.05.2011 - 15.07.2011 Kostengutsprache in der Höhe von Fr. 12'120 zuzüglich der Einschreibegebühr von Fr. 400 geleistet. Danach ist für eine weitere Kostengutsprache ein Standortgespräch notwendig.
2. Die Schulung gemäss Ziff. 1 vorstehend beinhaltet 5 Einzellektionen pro Woche. Kosten für Lateinstunden werden von der Schule Thalwil nicht übernommen.
3. (...).
4. Die Massnahme ist Ende Schuljahr 2010/11 anhand eines Schulischen Standortgesprächs und eines Berichtes (...) zu überprüfen.
5. Für eine Weiterführung der Sonderschulung im Schuljahr 2011/12 muss ein neues Gesuch auf Kostengutsprache eingereicht werden.
(...)."
Hiegegen erhob X._ am 10. Juni 2011 Rekurs beim Bezirksrat Horgen. Er verlangte, dass die Schule Thalwil die Kosten für eine gymnasiale Schulung in einer Kleinklasse und/oder mit zusätzlichen Förderstunden zu übernehmen habe; eventuell müsse sie im Rahmen der Schulung am Lernstudio Y._ "die Kosten für die notwendige Hochbegabtenförderung zuzüglich Lateinunterricht" übernehmen. Zur Begründung liess X._ im Wesentlichen vortragen, durch die angefochtene Verfügung, die bloss für einen beschränkten Zeitraum von gut zwei Monaten und - unter explizitem Ausschluss des Lateinunterrichts - lediglich für eine Schulung auf Sek. A-Niveau Kostengutsprache leiste, werde er in seiner schulischen Entwicklung in unzulässiger Weise diskriminiert.
C. Wenige Wochen später, am 30. Juni 2011, erliess das Ressort Schülerbelange der Schule Thalwil den folgenden Beschluss:
"1. Für die Sonderschulung von X._ in der 2. Klasse Z._ im Lernstudio Y._ wird für das Schuljahr 2011/2012 Kostengutsprache in der Höhe von Fr. 29'040 für die Tagesschule und Fr. 19'305 für die Einzellektionen geleistet.
2. Die Schulung gemäss Ziff. 1 vorstehend beinhaltet 5 Einzellektionen pro Woche. Kosten für Lateinstunden werden von der Schule Thalwil nicht übernommen.
(...)."
Auch hiegegen erhob X._ das offen stehende Rechtsmittel, und zwar am 13. Juli 2011 Einsprache bei der Schulpflege Thalwil, verbunden mit einem Sistierungsantrag und denselben Begehren wie im Rekurs vom 10. Juni 2011 an den Bezirksrat Horgen. Gleichentags fragte er die Schulgemeinde Thalwil an, ob diese nicht bereit wäre, die Kosten für die Schulung am Freien Gymnasium Zürich zu übernehmen. Dieses besucht er seit Beginn des Schuljahres 2011/12.
D. Mit Beschluss vom 3. August 2011 schrieb der Bezirksrat Horgen den Rekurs von X._ vom 10. Juni 2011 gegen die Verfügung der Schulpflege Thalwil vom 10. Mai 2011 (vorne lit. B) als gegenstandslos ab und auferlegte den Eltern die Verfahrenskosten in der Höhe von insgesamt Fr. 722.--. Zur Begründung führte der Bezirksrat im Wesentlichen aus, durch die Befristung der angefochtenen Verfügung sei das aktuelle und praktische Rechtsschutzinteresse an der Behandlung des Rechtsmittels dahingefallen. X._ habe das Schuljahr 2010/11 beendet; und es bestehe ein neuer Beschluss (vom 30. Juni 2011) für das Schuljahr 2011/12, der angefochten werden könne und auch angefochten worden sei (vgl. vorne lit. C). Was die Kostenverlegung betrifft, erwog der Bezirksrat, nach summarischer Prüfung der Angelegenheit sei davon auszugehen, dass der Rekurs nicht durchgedrungen wäre, weshalb die Eltern von X._ die Verfahrenskosten zu tragen hätten.
Die hiegegen am 13. September 2011 erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich am 5. Oktober 2011 ab, soweit es darauf eintrat. Auch das Verwaltungsgericht auferlegte den Eltern die Kosten des Verfahrens, und zwar in der Höhe von insgesamt Fr. 2'060.--.
E. Mit Eingabe vom 14. November 2011 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit den Anträgen, das letztgenannte Urteil aufzuheben (Ziff. I) und das "Verwaltungsgericht zu verpflichten, materiell auf die Beschwerde vom 13. September 2011 einzutreten" (Ziff. II). Sodann sei ihm - dem Beschwerdeführer - die unentgeltliche Rechtspflege nach Art. 10 des Behindertengleichstellungsgesetzes zu gewähren (Ziff. III), und die Gemeinde Thalwil sei zu verpflichten, ihm eine angemessene Parteientschädigung auszurichten (Ziff. IV).
Die Gemeinde Thalwil beantragt, die Beschwerde abzuweisen. Der Bezirksrat Horgen und das Verwaltungsgericht des Kantons Zürich verzichten auf Vernehmlassung.
Erwägungen:
1. 1.1 Gemäss Art. 83 lit. t BGG ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig gegen Entscheide über das Ergebnis von Prüfungen und anderen Fähigkeitsbewertungen, namentlich auf den Gebieten der Schule, der Weiterbildung und der Berufsausübung. Diese Ausschlussbestimmung zielt auf Prüfungsergebnisse im eigentlichen Sinn sowie auf alle Entscheide ab, die auf einer Bewertung der intellektuellen oder physischen Fähigkeiten eines Kandidaten beruhen, nicht aber auf andere Entscheide im Zusammenhang mit Prüfungen wie insbesondere solche organisatorischer Natur (BGE 136 I 229 E. 1).
Daraus folgt, dass die Beschwerde in öffentlich-rechtlichen Angelegenheiten in Anwendung von Art. 83 lit. t BGG ausgeschlossen ist, wenn der angefochtene Entscheid die individuelle Beurteilung der Fähigkeiten des Beschwerdeführers betrifft. Dies gilt etwa im Falle eines von solchen Fähigkeiten abhängigen Schuleinstufungsentscheides (vgl. Urteil 2D_26/2008 vom 27. Februar 2008, E. 2.1). Zulässig ist die Beschwerde demgegenüber, wenn die abstrakte Beurteilung eines Fähigkeitsausweises, eines Ausbildungsganges, einer Prüfung oder die rechtliche Notwendigkeit einer förmlichen Anerkennung oder Prüfung streitig ist (Urteil 2C_417/2011 vom 13. Januar 2012, E. 1.3).
Vorliegend ist nicht die Schuleinreihung eines Kindes streitig. Vielmehr geht es um einen behaupteten Anspruch auf staatliche Schulleistungen trotz bzw. wegen einer (geltend gemachten) Behinderung. Dies erschöpft sich nicht in einer reinen Leistungsbeurteilung, und insofern kommt der Ausschlussgrund von Art. 83 lit. t BGG nicht zum Tragen (vgl. Urteil 2C_187/2007 vom 16. August 2007, E. 2.2, wo die Frage offen gelassen wurde).
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist daher zulässig (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG), und der Beschwerdeführer ist zur Ergreifung dieses Rechtsmittels legitimiert (Art. 89 Abs. 1 BGG).
1.2 Im angefochtenen Urteil hat das Verwaltungsgericht den Beschluss des Bezirksrats Horgen vom 3. August 2011 geschützt, mit dem dieser den Rekurs gegen die Verfügung der Schulpflege Thalwil vom 10. Mai 2011 als gegenstandslos abgeschrieben hat (vgl. vorne lit. B und D), d.h. gar nicht darauf eingetreten ist. Das Verwaltungsgericht hat geprüft, ob dieses Prozessurteil des Bezirksrats rechtmässig ist, d.h. es hat die Beschwerde vom 13. September 2011 gegen den Nichteintretensentscheid materiell beurteilt und sie schliesslich abgewiesen, soweit es darauf eintrat. Damit ist aber das vor Bundesgericht gestellte Begehren des Beschwerdeführers, wonach das Verwaltungsgericht zu verpflichten sei, materiell auf die Beschwerde vom 13. September 2011 einzutreten (Ziff. II), hinfällig geworden. Es ist richtigerweise so zu verstehen, dass der Bezirksrat Horgen anzuweisen sei, auf den Rekurs gegen die Verfügung der Schulpflege Thalwil vom 10. Mai 2011 einzutreten.
2. 2.1 Dass das Verwaltungsgericht für die Prüfung der Frage, ob der Bezirksrat auf den Rekurs gegen die Verfügung der Schulpflege Thalwil hätte eintreten müssen, kantonales Verwaltungsverfahrensrecht angewendet hat, ist richtig (vgl. § 70 in Verbindung mit § 28 Abs. 1 und insbesondere § 21 Abs. 1 des Verwaltungsrechtspflegegesetzes vom 24. Mai 1959 [VRG]) und wird vom Beschwerdeführer nicht in Frage gestellt.
2.2 Mit der Beschwerde können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Soweit die Vorinstanz kantonales Recht anzuwenden hatte, kann im Wesentlichen geltend gemacht werden, der angefochtene Entscheid verstosse gegen Bundesrecht (Art. 95 lit. a BGG) bzw. gegen die verfassungsmässigen Rechte und Grundsätze (BGE 137 V 143 E. 1.2 S. 145; 134 I 153 E. 4.2.2 S. 158; 134 II 349 E. 3 S. 351). Das Bundesgericht prüft - auf entsprechend begründete Rüge hin (Art. 106 Abs. 2 BGG) - kantonales Recht somit nur auf Bundesrechtsverletzung hin (namentlich Willkür).
Zwar wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (Art. 106 Abs. 1 BGG); dies setzt aber voraus, dass auf die Beschwerde überhaupt eingetreten werden kann, diese also wenigstens die minimalen Begründungsanforderungen von Art. 42 Abs. 2 BGG erfüllt. Strengere Anforderungen gelten, wenn die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung - BGE 133 II 249 E. 1.4.3 S. 255) geltend gemacht wird. Dies prüft das Bundesgericht nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Wird eine Verletzung des Willkürverbots geltend gemacht, muss anhand der angefochtenen Subsumtion im Einzelnen dargelegt werden, inwiefern der Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (BGE 134 II 244 E. 2.2 S. 246, 130 I 258 E. 1.3 S. 261 mit Hinweisen). Willkür in der Rechtsanwendung liegt dann vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (BGE 137 I 1 E. 2.4 S. 5 mit Hinweisen).
2.3 Der Beschwerdeführer begnügt sich im Wesentlichen mit einer Wiederholung seines vor dem Verwaltungsgericht eingenommenen Standpunktes, wonach das aktuelle und praktische Interesse an einer materiellen Beurteilung des Rekurses gegen die - das Schuljahr 2010/11 betreffende - Verfügung der Schulpflege Thalwil vom 10. Mai 2011 entgegen der Auffassung des Bezirksrats eben gerade nicht dahingefallen sei. Er legt aber nicht dar, inwiefern die Vorinstanz die einschlägigen Bestimmungen des kantonalen Verwaltungsverfahrensrechts (vorne E. 2.1) willkürlich angewendet hätte bzw. der angefochtene Entscheid an einem qualifizierten und offensichtlichen Mangel leiden würde. Insoweit ist auf die Beschwerde nicht einzutreten (vorne E. 2.2).
2.4 Die Willkürrüge wäre zudem auch in der Sache unbegründet: Das Verwaltungsgericht hat willkürfrei erwogen, dass die gleichen Fragen (und die damit verbundenen Begehren), wie sie vom Beschwerdeführer in seinem Rekurs vom 10. Juni 2011 thematisiert wurden (vorne lit. B), auch im Rahmen der Einsprache vom 30. Juni 2011 bzw. im Rahmen eines allenfalls anschliessenden Rekurs- bzw. Beschwerdeverfahrens beurteilt werden können. Namentlich die Frage, ob bzw. wie weit aufgrund der angerufenen verfassungsrechtlichen Grundsätze ein Anspruch auf unentgeltlichen Grundschulunterricht auf Stufe Untergymnasium besteht, konnte im Rahmen der Behandlung des Verfahrens für das laufende Schuljahr gar nicht mehr in relevanter Weise geklärt werden. Sie wurde jedoch kurze Zeit später im Rahmen der Einsprache vom 30. Juni 2011 (betreffend das Schuljahr 2011/12) erneut aufgeworfen. Aufgrund dieser speziellen Umstände erscheint es nicht willkürlich, dass die Vorinstanzen annahmen, dem Beschwerdeführer fehle es am aktuellen und praktischen Interesse an der Behandlung seines Rekurses vom 10. Juni 2011. Dass im hier streitigen Fall von diesem Erfordernis allenfalls auch hätte abgewichen werden können (zu den diesbezüglichen Voraussetzungen vgl. BGE 137 I 120 E. 2.2 S. 123), macht den vorinstanzlichen Entscheid noch nicht willkürlich (vorne E. 2.2).
3. In der Beschwerdeschrift wird im Weiteren beanstandet, dass das Verwaltungsgericht den Eltern des Beschwerdeführers Kosten auferlegte und in seinem Entscheid auch die vom Bezirksrat verfügte Kostenauflage geschützt hat; dies obwohl das Behindertengleichstellungsgesetz die Kostenlosigkeit solcher Verfahren ausdrücklich garantiere.
3.1 Das Bundesgesetz vom 13. Dezember 2002 über die Beseitigung von Benachteiligungen von Menschen mit Behinderungen (Behindertengleichstellungsgesetz, BehiG; SR 151.3) ist als Bundesrecht frei und von Amtes wegen anzuwenden. Es vermittelt Behinderten gewisse Rechtsansprüche bei Bauten, Einrichtungen oder Fahrzeugen (Art. 7 BehiG) und Dienstleistungen (Art. 8 BehiG). So kann etwa, wer durch das Gemeinwesen im Sinne von Art. 2 Abs. 5 des Gesetzes (also bei der Inanspruchnahme von Aus- und Weiterbildung) benachteiligt wird, verlangen, dass das Gemeinwesen die Benachteiligung beseitigt oder unterlässt (Art. 8 Abs. 2 BehiG). Entsprechende Verfahren nach Art. 7 und 8 BehiG sind im Grundsatz unentgeltlich (Art. 10 Abs. 1 BehiG).
Vom Geltungsbereich des Behindertengleichstellungsgesetzes erfasst wird auch die Aus- und Weiterbildung (Art. 3 lit f BehiG), und zwar in erster Linie mit Bezug auf die Angebote des Bundes. Für die Kantone beschränkt sich der Geltungsbereich des Gesetzes auf den Bereich der Grundschule (Urteil 2D_7/2011 vom 19. Mai 2011 E. 2.4, vgl. auch ausdrücklich Art. 20 BehiG sowie ANDREA AESCHLIMANN-ZIEGLER, Der Anspruch auf ausreichenden und unentgeltlichen Grundschulunterricht von Kindern und Jugendlichen mit einer Behinderung, Bern 2011, S. 229 ff.). Ob bzw. inwieweit die hier zur Diskussion stehende Ausbildung - an einem Langzeitgymnasium, welches der Beschwerdeführer seit Beginn des laufenden Schuljahres besucht (vorne lit. C) - überhaupt vom Behindertengleichstellungsgesetz erfasst wird, kann angesichts der nachstehenden Erwägungen indessen offen bleiben.
3.2 Art. 10 Abs. 1 BehiG über die Kostenfreiheit von Verfahren für Ansprüche nach Art. 7 oder 8 BehiG ist an sich von der kantonalen Behörde von Amtes wegen anzuwenden. Vorausgesetzt ist aber immerhin, dass es - wie in analogen Fällen etwa von Art. 13 Abs. 5 GlG oder Art. 343 Abs. 3 aOR bzw. heute Art. 114 ZPO (vgl. BGE 135 III 470 E. 1.2 und 3, 131 III 451 E. 3, 124 I 223 E. 3 sowie Urteil 2A.400/2005 vom 19. Dezember 2005) - in der Sache wirklich um einen solchen Anspruch geht, nicht bloss um eine andere Problematik, die einen gewissen Zusammenhang mit Behinderungen hat. Dass und weshalb es sich um einen Anspruch nach Art. 7 bzw. 8 BehiG handelt, hat derjenige darzutun, der daraus Rechte ableitet; die Behörde kann darauf abstellen, was der (potentiell) Anspruchsberechtigte hierbei geltend macht. Es kann für sich allein nicht genügen, dass der Beschwerdeführer behauptet, es liege ein solcher Anspruch vor. Zumindest muss er die sachverhaltlichen Grundlagen liefern, die darauf schliessen lassen, dass das Behindertengleichstellungsgesetz überhaupt anwendbar ist.
3.3 Der Mensch mit Behinderungen (Behinderte, Behinderter) ist eine Person, der es eine voraussichtlich dauernde körperliche, geistige oder psychische Beeinträchtigung erschwert oder verunmöglicht, alltägliche Verrichtungen vorzunehmen, soziale Kontakte zu pflegen, sich fortzubewegen, sich aus- oder fortzubilden oder eine Erwerbstätigkeit auszuüben (Art. 2 Abs. 1 BehiG). Die Legaldefinition der Behinderung im Sinne des Behindertengleichstellungsgesetzes geht damit weiter als diejenige der Invalidität im Sinne des IVG (vgl. Art. 4 Abs. 1 IVG in Verbindung mit Art. 8 ATSG; vgl. auch Botschaft vom 11. Dezember 2000 zur Volksinitiative "Gleiche Rechte für Behinderte" und zum Entwurf eines Bundesgesetzes über die Beseitigung von Benachteiligungen behinderter Menschen, BBl 2001 1715 ff., insbesondere 1776). Verlangt wird aber immerhin, dass die genannten Verrichtungen etc. "erschwert oder verunmöglicht" werden. Darunter fällt nicht jede Abweichung von einer in irgend einer Weise definierten "Normalität", sondern nur eine Beeinträchtigung von einem bestimmten Gewicht (vgl. zum Behinderungsbegriff im Sinne von Art. 8 Abs. 2 BV BGE 135 I 49 E. 6.1 S. 58). So hat das Bundesgericht im Bereich der Schulbildung entschieden, dass eine Behinderung im Sinne von Art. 2 Abs. 1 BehiG vorliegt, wenn eine Schulung in der Regelschule nicht möglich ist (vgl. Urteil 2C_588/2011 vom 16. Dezember 2011, E. 3.6), ebenso bei einer stärkeren Defizienz (etwa der Hörfähigkeit), die nicht einfach ausgeglichen werden kann (vgl. Urteil 2C_154/2009 vom 28. September 2009, E. 4).
3.4 Aus dem Rekurs vom 10. Juni 2011 an den Bezirksrat Horgen (samt Beilagen) geht hervor, dass der Beschwerdeführer hochbegabt und in der Schule unterfordert ist, aber soziale Schwächen hat und seine Befindlichkeit verschlechtert ist (vgl. auch vorne lit. A). Hochbegabung aber ist keine Behinderung im Sinne des Behindertengleichstellungsgesetzes; ebenso wenig haben gewisse damit verbundene emotionale oder soziale Schwächen oder Befindlichkeitsbeeinträchtigungen das notwendige Gewicht (vorne E. 3.3), um von diesem Gesetz erfasst zu werden.
Auch wenn im erhobenen Rechtsmittel Art. 8 Abs. 2 BV und das dort enthaltene Diskriminierungsverbot von Behinderten kurz und in allgemeiner Weise erwähnt wird (S. 10), hat sich der Beschwerdeführer im Verfahren vor dem Bezirksrat nicht auf das Behindertengleichstellungsgesetz berufen bzw. dort keine Behinderung substantiiert geltend gemacht. Das Gesetz war also auch in der Sache nicht anwendbar, weshalb der Bezirksrat - aufgrund der ordentlichen Verfahrensbestimmungen - die Kostenverlegung zu Recht aufgrund des mutmasslichen Prozessergebnisses vorgenommen hat. Seine diesbezügliche Einschätzung (E. 2.4 des Entscheides vom 3. August 2011) ist jedenfalls nicht willkürlich (vgl. vorne E. 2.2).
3.5 Später, im Verfahren vor dem Verwaltungsgericht, hatte sich der Beschwerdeführer ausdrücklich auf das Behindertengleichstellungsgesetz berufen und geltend gemacht, er leide gemäss ärztlicher Diagnose (vorne lit. A) an atypischem Autismus (im Sinne von ICD-10 F.84.1). Eine gestellte medizinische Diagnose begründet indessen für sich allein noch keine Arbeits- oder Erwerbsunfähigkeit (BGE 131 V 49 E. 1.2 sowie Urteile 8C_896/2010 vom 2. März 2011, E. 2, bzw. 9C_681/2010 vom 14. Dezember 2010, E. 3.1.3) und auch keine Beeinträchtigung im Sinne des Behindertengleichstellungsgesetzes.
Aus dem Bericht des Kinder- und Jugendpsychiatrischen Dienstes vom 5. September 2011 (Beilage 3 zur Beschwerde ans Verwaltungsgericht) ergibt sich, dass der Beschwerdeführer im Alltag schulisch unterfordert ist und starke Schulunlust zeigt, verbunden mit sozialem Rückzug, Überheblichkeit und leichten Aggressionen gegenüber den Geschwistern. Andererseits nimmt er regelmässig am Schulunterricht teil. Einmal wöchentlich besucht er je ein Tennistraining und ein Yugio-Turnier, die Teilnahme am Familienalltag ist ebenfalls normal. Der Bericht des Kinder- und Jugendpsychiatrischen Dienstes kommt zum Schluss, dass beim Beschwerdeführer eine "erneute depressive Entwicklung sowie eine Schulverweigerung wahrscheinlich" sei, wenn die schulische Lösung seiner Hochbegabung einerseits und seinen emotionalen bzw. sozialen Schwächen andererseits nicht Rechnung trage.
Wie ausgeführt (E. 3.3 und 3.4), ist Hochbegabung keine Behinderung im Sinne von Art. 2 Abs. 1 BehiG, weil dieser Begriff eine Beeinträchtigung von einer gewissen Schwere voraussetzt. Damit gebricht es beim Beschwerdeführer von Vornherein an einem Anspruch nach Art. 7 oder 8 BehiG, und Art. 10 Abs. 1 BehiG betreffend die grundsätzliche Kostenfreiheit entsprechender Verfahren war auch vom Verwaltungsgericht nicht anzuwenden. Dass dem Beschwerdeführer bereits in der angefochtenen Verfügung eine schulische Sonderlösung angeboten worden war (vorne lit. B), ist nicht massgebend.
4. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Ausgang sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (vgl. Art. 65 und 66, insbesondere Art. 65 Abs. 4 lit. d BGG). Die Gemeinde Thalwil hat keinen Anspruch auf eine Parteientschädigung (Art.68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Bezirksrat Horgen und dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 1. Mai 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein