Sachverhalt: A. Der im Jahr 2000 geborene Z._ besuchte im Schuljahr 2009/2010 die Kleinklasse im Schulhaus A._ (Schulkreis Winterthur-Stadt). Nach verschiedenen Vorkommnissen ordnete die Kreisschulpflege Oberwinterthur am 23. September 2009 die sofortige Dispensation von Z._ vom Unterricht an bis zur Klärung des weiteren Vorgehens; für die Zeit nach den Herbstferien stellte sie Einzelunterricht in Aussicht, sofern sich bis dahin keine längerfristige Lösung ergebe. B. Am 5. Oktober 2009 erhob der Vater von Z._, X._, Rekurs beim Bezirksrat Winterthur. Er beantragte, es sei die Nichtigkeit des Entscheids vom 23. September festzustellen bzw. dieser aufzuheben und es seien eine Untersuchung über die Vorfälle in der Kleinklasse von Z._ seit Beginn des Schuljahres 2009/2010 vorzunehmen und geeignete Massnahmen zu treffen. Mit Präsidialverfügung vom 21. Oktober 2009 ordnete die Kreisschulpflege Oberwinterthur für Z._ ab dem 26. Oktober 2009 als Übergangslösung Einzelunterricht in der "Individuellen Erfolgsschule" in Winterthur an. Am 16. Dezember 2009 schrieb der Präsident des Bezirksrates Winterthur das bei diesem hängige Rekursverfahren als gegenstandslos ab und verweigerte aufsichtsrechtliche Vorkehren. C. X._ führte dagegen Beschwerde beim Verwaltungsgericht des Kantons Zürich. Er beantragte erneut, die Nichtigkeit der Verfügung vom 23. September 2009 festzustellen und diese aufzuheben. Eventuell sei die Sache an den Bezirksrat zurückzuweisen. Überdies sei dieser anzuweisen, eine Untersuchung über die Vorfälle der Kleinklasse von Z._ seit Beginn des Schuljahres 2009/2010 vorzunehmen und entsprechende Massnahmen zu ergreifen. Mit Entscheid vom 7. April 2010 wies das Verwaltungsgericht, 4. Kammer, die Beschwerde im Sinne der Erwägungen ab, soweit es darauf eintrat. Dabei trat das Verwaltungsgericht insoweit auf die Beschwerde nicht ein, als X._ eine Untersuchung über die Vorfälle beantragte, da sein entsprechendes Begehren nicht vom Streitgegenstand erfasst werde und deshalb nicht Prozessthema sei. Im Übrigen habe der Bezirksrat den bei ihm eingereichten Rekurs zwar zu Unrecht als gegenstandslos abgeschrieben, die Verfügungen vom 23. September und vom 21. Oktober 2009, die gemeinsam zu prüfen seien, erwiesen sich aber als rechtmässig. Unter diesen Umständen und angesichts der Dringlichkeit des Verfahrens und des Grundsatzes der Prozessökonomie rechtfertige es sich nicht, die Sache an den Bezirksrat zurückzuweisen. D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 18. Mai 2010 an das Bundesgericht stellt X._ die folgenden Anträge: "1. Die Nichtigkeit der Verfügung ist festzustellen und damit aufzuheben. 2. Es ist der Bezirksrat Winterthur anzuweisen, eine Untersuchung über die Vorfälle in der Kleinklasse im Schulhaus Geiselweid seit Schulbeginn 09/10 vorzunehmen und geeignete, darauf aufbauende Massnahmen einzuleiten, damit möglichst rasch der geordnete Schulbetrieb wieder aufgenommen werden kann. 3. Eventualiter ist die Sache zur Neubeurteilung an die Vorinstanz zu überweisen. 4. Es ist eine konkrete Normenkontrolle ... vorzunehmen. 5. Die Kosten für das Verfahren bei der Vorinstanz sind unverhältnismässig hoch und deshalb auf einen angemessenen Betrag zu reduzieren. ..." Zur Begründung wird insbesondere eine Verletzung des Anspruchs auf ausreichenden Grundschulunterricht nach Art. 19 BV geltend gemacht. E. Das Verwaltungsgericht des Kantons Zürich hat auf eine Vernehmlassung verzichtet. Die Kreisschulpflege Oberwinterthur hat innert Frist keine Stellungnahme eingereicht.