Erwägungen:
1. Das Amt für Jugend und Berufsberatung richtete X._ für die Periode 1. Oktober 2003 bis 30. September 2004 Stipendien aus. Am 17. Januar 2005 verfügte es die Rückforderung von Fr. 751.-- als zuviel bezogene Ausbildungsbeiträge für diese Periode. Eine gegen diese Verfügung erhobene Einsprache blieb erfolglos. Im diesbezüglichen Rekursverfahren vor der Bildungsdirektion des Kantons Zürich forderte X._ die Ausrichtung von Fr. 5'793.-- als Saldo einer Schlussabrechnung. Die Bildungsdirektion wies den Rekurs am 11. April 2008 ab, auferlegte X._ die Kosten und sprach ihm eine Parteientschädigung von Fr. 430.-- zu. Am 30. September 2008 wies das Verwaltungsgericht des Kantons Zürich die gegen den Rekursentscheid erhobene Beschwerde mit Entscheid des Einzelrichters seiner 4. Abteilung ab.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 5. November 2008 stellt X._ dem Bundesgericht die Anträge: "a) Rückweisung und Kostenübernahme des Verwaltungsgerichtsentscheids; b) Rest analog meiner Beschwerde ans Verwaltungsgericht; c) Stattgeben einer Parteientschädigung auf Bundesgerichtsebene." Der Rechtsschrift vom 5. November 2008 beigelegt sind unter anderem eine "erste Version der Bundesgerichtsbeschwerde vom 31.10.2008" sowie ein fünfseitiger Text einer Fax-Eingabe vom 3. November 2008 an das Generalsekretariat der Bildungsdirektion.
Es ist weder ein Schriftenwechsel noch sind andere Instruktionsmassnahmen angeordnet worden.
2. 2.1 Gemäss Art. 42 Abs. 1 BGG haben Rechtsschriften die Begehren und deren Begründung zu enthalten. Dabei ist in der Beschwerdebegründung in gedrängter Form dazulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG); es muss sich dabei um schweizerisches Recht im Sinne von Art. 95 BGG handeln (nebst Bundesrecht einschliesslich Bundesverfassungsrecht unter anderem auch Völkerrecht und kantonale verfassungsmässige Rechte). Nicht unmittelbar gerügt werden kann die Auslegung und Anwendung von kantonalem Recht. Stützt sich ein Entscheid auf kantonales Recht, muss in der Beschwerdeschrift aufgezeigt werden, inwiefern dessen Anwendung zu einer Rechtsverletzung im Sinne von Art. 95 BGG führt; appellatorische Ausführungen genügen nicht. Die Begründung muss ferner sachbezogen sein, d.h. sich mit den für das Ergebnis des angefochtenen Entscheids massgeblichen Erwägungen der Vorinstanz auseinandersetzen. Eine den geschilderten Begründungsanforderungen genügende Rechtsschrift muss innerhalb der Beschwerdefrist von 30 Tagen (Art. 100 Abs. 1 BGG) eingereicht werden; eine Erstreckung der gesetzlichen Beschwerdefrist zur Nachreichung einer formgerechten Beschwerdebegründung fällt ausser Betracht (Art. 47 Abs. 1 BGG). Wird nicht fristgerecht eine ausreichende Beschwerdebegründung vorgelegt, tritt das Bundesgericht auf ein Rechtsmittel nicht ein.
2.2 Der angefochtene Entscheid betrifft (die Rückforderung von) Stipendien, eine kantonalrechtlich geregelte Materie. Auch in verfahrensrechtlicher Hinsicht beruht er ausschliesslich auf kantonalem Recht.
Das Verwaltungsgericht hat, in Beantwortung der Vorbringen des Beschwerdeführers in der kantonalen Verwaltungsgerichtsbeschwerde, zunächst die Verfahrensabläufe bzw. den Instanzenzug in stipendienrechtlichen Streitigkeiten geschildert (E. 3.1). Sodann hat es unter Hinweis auf die Begründung im Rekursentscheid der Bildungsdirektion die von dieser vorgenommene Stipendienberechnung bestätigt, wobei es festhielt, dass der Beschwerdeführer vor Verwaltungsgericht diesbezüglich nichts vorgebracht habe (E. 3.2). Schliesslich befasste es sich mit dem vom Beschwerdeführer angebrachten Wunsch, es sei ihm die Möglichkeit zur Korrektur einer allenfalls ungenügenden Beschwerde einzuräumen; es prüfte anhand der kantonalrechtlichen Verfahrensregelung (§§ 54 und 56 Abs. 1 des Verwaltungsrechtspflegegesetzes vom 24. Mai 1959, VRG), ob die Voraussetzungen zur Ansetzung einer Nachfrist zwecks Verbesserung der Beschwerdeschrift erfüllt gewesen seien, und verneinte dies (E. 3.4). Was der Beschwerdeführer diesbezüglich vor Bundesgericht geltend macht, genügt den erwähnten formellen Anforderungen nicht. Es fehlt offensichtlich an einer hinreichenden Beschwerdebegründung (Art. 108 Abs. 1 lit. b BGG):
Zu E. 3.2 des angefochtenen Entscheids wiederholt der Beschwerdeführer bloss, was er schon im kantonalen Verfahren vorgebracht hat, ohne auf die Erwägungen des Verwaltungsgerichts einzugehen. Soweit er E. 3.4 des verwaltungsgerichtlichen Entscheids beanstandet und diesbezüglich eine Verletzung des rechtlichen Gehörs geltend macht, unterlässt er es, auf Tragweite und Auslegung von § 56 Abs. 1 VRG und die entsprechenden Darlegungen des Verwaltungsgerichts einzugehen; insbesondere zeigt er nicht auf, inwiefern eine Rechtsverletzung im Sinne von Art. 95 BGG bei der Anwendung dieser kantonalrechtlichen Norm vorliegen könnte, wenn es das Verwaltungsgericht abgelehnt hat, die Möglichkeit einzuräumen, eine Beschwerdeschrift ausserhalb der Beschwerdefrist zu ergänzen, welche - gewollt - keine materielle Rüge enthält. Schliesslich verweist der Beschwerdeführer unter dem Titel "materielle Begründung auf Ebene Rückforderung Stipendien" auf die erste Version einer "Bundesgerichtsbeschwerde" vom 31. Oktober 2008. Das Verwaltungsgericht hat sich mangels entsprechender Beschwerdevorbringen nicht näher mit der materiellen Stipendienfrage befasst (E. 3.2 des angefochtenen Entscheids); dass und inwiefern es damit verfahrensrechtliche Grundsätze verletzt hätte, zeigt der Beschwerdeführer nicht auf. Schon aus diesem Grund und zusätzlich darum, weil sich der Rechtsschrift vom 31. Oktober 2008 bezüglich der Stipendienberechnung bloss - unzulässige - appellatorische Kritik entnehmen lässt, genügt diese ebenso wenig den Begründungsanforderungen gemäss Art. 42 Abs. 2 BGG wie die Rechtsschrift vom 5. November 2008.
2.3 Der Beschwerdeführer ersucht für den Fall, dass seine Rechtsschrift den formellen Anforderungen nicht genüge, um eine "Nachreichungsmöglichkeit". Wie in E. 2.1 dargelegt, fällt das Ansetzen einer über das Ende der Beschwerdefrist hinausgehenden Nachfrist zur Verbesserung einer ungenügenden Rechtsschrift ausser Betracht. Nachdem der angefochtene Entscheid dem Beschwerdeführer am 7. Oktober 2008 zugestellt worden war, lief die Beschwerdefrist am 6. November 2008 ab. Es bestand keine Möglichkeit mehr, den Beschwerdeführer rechtzeitig zur Verbesserung seiner Rechtsschrift vom 5. November 2008 aufzufordern.
2.4 Auf die Beschwerde ist im vereinfachten Verfahren gemäss Art. 108 BGG nicht einzutreten.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten (Art. 65 BGG) dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 Satz 1 BGG).
Demnach erkennt der Präsident:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Amt für Jugend und Berufsbildung und der Erziehungsdirektion des Kantons Zürich sowie dem Verwaltungsgericht des Kantons Zürich, 4. Abteilung, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 14. November 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Feller