Sachverhalt:
A. F._ unterrichtete ab 1994 an der Kantonsschule X._ das Fach Geografie, wobei er ab September 2000 als Lehrperson ohne besondere Aufgaben unbefristet mit einem garantierten Pensum von 30.43 % (entsprechend 7 von 23 Lektionen pro Woche) angestellt war. Im November 2006 wurde die Stelle einer Lehrperson mit besonderen Aufgaben und mit einem Beschäftigungsgrad von 100 % ausgeschrieben. F._ bewarb sich erfolglos; die Stelle erhielt ein anderer Bewerber. Mit Schreiben vom 26. Februar 2007 kündigte die Kantonsschule X._ das Anstellungsverhältnis des F._ auf Ende des Frühlingssemesters 2007. Zur Begründung wurde ausgeführt, für die Tätigkeit von F._ bestehe aufgrund der erfolgten Besetzung der ausgeschriebenen Stelle kein Bedarf mehr. Hiegegen rekurrierte F._ bei der Bildungsdirektion des Kantons Zürich. Er beantragte, es sei die Kündigung aufzuheben und wegen missbräuchlicher Kündigung eine Entschädigung auszurichten. Die Bildungsdirektion hiess den Rekurs mit Entscheid vom 26. September 2006 teilweise gut, stellte fest, dass das Arbeitsverhältnis am 31. August 2007 geendet habe, und sprach F._ eine Entschädigung von zwei Teilmonatslöhnen zu.
B. Mit Beschwerde an das Verwaltungsgericht des Kantons Zürich beantragte F._, es sei "die Entschädigungspflicht aufgrund der Unterschreitung des garantierten Pensums" rückwirkend bis zum 1. September 2007 zu erfüllen und wegen missbräuchlicher Kündigung eine Entschädigung von sechs Teilmonatslöhnen auszurichten. Mit nachträglichen Eingaben bezifferte er seinen bis 25. November 2008 aufgelaufenen Entschädigungsanspruch auf Fr. 72'448.- und zusätzliche Fr. 5892.-. In teilweiser Gutheissung der Beschwerde stellte das Verwaltungsgericht fest, die Entlassung sei als formell mangelhaft und sachlich nicht gerechtfertigt zu betrachten. Es verpflichtete die Stadt Zürich in Abänderung des Entscheids der Bildungsdirektion, F._ eine Entschädigung von sechs Monatslöhnen im Sinne der Erwägungen auszurichten. Im Übrigen wies es die Beschwerde ab.
C. F._ führt mit Eingabe vom 17. April 2009 Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, "die Entschädigungspflicht aufgrund der Unterschreitung des garantierten Pensums" sei rückwirkend bis zum 1. September 2007 zu erfüllen; per 25. März 2009 beziffere sich die Entschädigung auf Fr. 59'585.- (brutto Fr. 69'878.-).
Mit Eingabe vom 21. April 2009 erhebt F._ auch "staatsrechtliche Beschwerde" mit den im Wesentlichen gleichen Rechtsbegehren und dem weiteren Antrag, es sei die (zusätzliche) "Entschädigung von Fr. 2946.- netto unter Rückstellung der Sozialabzüge monatlich bis zum 31. August 2012 pflichtgemäss zu entrichten".
Die Kantonsschule X._ verweist auf ihre Eingaben an Bildungsdirektion sowie Verwaltungsgericht und äussert sich nicht weiter.
Erwägungen:
1. Das Bundesgericht prüft seine Zuständigkeit und die (weiteren) Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (vgl. BGE 135 V 98 E. 1 S. 99; 135 II 94 E. 1 S. 96; Urteil 8C_264/2009 vom 19. Mai 2009 E. 1; je mit Hinweisen).
Der Beschwerdeführer erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Art. 82 ff. BGG und überdies "staatsrechtliche Beschwerde", womit die Verfassungsbeschwerde im Sinne von Art. 113 ff. gemeint sein wird.
1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist zulässig: Der angefochtene Entscheid betrifft die Kündigung eines öffentlich-rechtlichen Arbeitsverhältnisses und damit verbundene Entschädigungsforderungen; es handelt sich somit um eine öffentlich-rechtliche Angelegenheit im Sinne von Art. 82 lit. a BGG und der Ausschlussgrund von Art. 83 lit. g BGG greift nicht, da eine vermögensrechtliche Streitigkeit vorliegt. Das Streitwerterfordernis gemäss Art. 85 Abs. 1 lit. b in Verbindung mit Art. 51 Abs. 1 lit. a und Abs. 4 BGG ist erfüllt. Der angefochtene Entscheid ist durch eine letzte kantonale Instanz erlassen worden und nicht mit Beschwerde an das Bundesverwaltungsgericht anfechtbar (Art. 86 Abs. 1 lit. d BGG). Die Legitimation zur Erhebung der Beschwerde ist gegeben (Art. 89 Abs. 1 BGG). Beim angefochtenen Entscheid handelt es sich um einen Endentscheid (Art. 90 BGG). Die vom Beschwerdeführer erhobenen Rügen (Verletzung des Gewaltenteilungsprinzips; Willkür) können mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten vorgebracht werden (Art. 95 lit. a, Art. 106 Abs. 2 BGG; Urteil 1C_103/2007 vom 7. Dezember 2007 E. 1.3).
1.2 Ist die Zulässigkeit der Beschwerde in öffentlich-rechtlichen Angelegenheiten gegeben, bleibt für die Verfassungsbeschwerde kein Raum (Art. 113 BGG). Die Eingaben vom 17. und 21. April 2009 sind als Beschwerde in öffentlich-rechtlichen Angelegenheiten zu behandeln und es ist auf sie einzutreten, da auch die Voraussetzungen an Frist und Form des Rechtsmittels erfüllt sind.
2. Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Der angefochtene Entscheid stützt sich in der Sache auf kantonales Recht. Als Beschwerdegrund kommt im Wesentlichen die Verletzung von Bundesrecht, insbesondere von verfassungsmässigen Rechten der Bundesverfassung in Frage (Art. 95 BGG). Die Anwendung des kantonalen Rechts als solches bildet nicht Beschwerdegrund. Überprüft werden kann insoweit nur, ob der angefochtene Entscheid auf willkürlicher Gesetzesanwendung beruht oder ob das Gesetz oder seine Anwendung sonstwie gegen übergeordnetes Recht verstossen (vgl. BGE 133 II 249 E. 1.2.1 S. 251 f.; Urteile 8C_264/2009 vom 19. Mai 2009 E. 2 und 1C_312/2008 vom 26. Februar 2009 E. 1.3, auch zum Folgenden). Diesbezüglich gelten strengere Anforderungen an die Begründungspflicht: Das Bundesgericht prüft die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung; BGE 133 II 249 E. 1.4.3 S. 255) nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Für derartige Rügen gelten die gleichen Begründungsanforderungen, wie sie gestützt auf Art. 90 Abs. 1 lit. b OG für die staatsrechtliche Beschwerde aufgestellt worden sind (BGE 133 II 249 E. 1.4.2 S. 254 mit Hinweisen).
3. Der Beschwerdeführer rügt zunächst, die Kündigung sei gestützt auf § 16 Abs. 1 lit. b der regierungsrätlichen Vollzugsverordnung vom 19. Mai 1999 zum Personalgesetz (nachfolgend: Vollzugsverordnung) ergangen. Diese Bestimmung habe keine Grundlage in einem formellen Gesetz, insbesondere nicht in § 19 des kantonalen Gesetzes vom 27. September 1998 über das Arbeitsverhältnis des Staatspersonals (Personalgesetz).
Damit wird eine Überprüfung der im angefochtenen Entscheid als wesentlich erklärten rechtlichen Grundlage verlangt, was unter dem Blickwinkel des Gewaltenteilungsprinzips zu prüfen ist (Urteil 1C_103/2007 vom 7. Dezember 2007 E. 1.3; vgl. auch Urteil 1C_302/2008 vom 18. März 2009 E. 2.3).
Der Beschwerdeführer übersieht, dass die Vorinstanz als formellgesetzliche Grundlage § 18 Abs. 2 Personalgesetz nennt, wonach die Kündigung durch den Staat nicht rechtsmissbräuchlich nach den Bestimmungen des Obligationenrechts sein darf und einen sachlich zureichenden Grund voraussetzt. § 16 Vollzugsverordnung umschreibt, was unter einem sachlich zureichenden Grund namentlich zu verstehen ist. In der Beschwerde wird nicht dargetan, inwiefern es dennoch an einer genügenden resp. dem Gewaltenteilungsprinzip entsprechenden rechtlichen Grundlage fehlen soll. Die Rüge ist somit unbegründet.
4. Das kantonale Gericht hat die Kündigung als formell fehlerhaft und materiell ungerechtfertigt qualifiziert. Der Beschwerdeführer erachtet es als willkürlich, dass der Kündigung gemäss dem angefochtenen Entscheid dennoch eine Rechtswirkung in dem Sinne zukommen soll, dass mit dem Ablauf der Kündigungsfrist weitere Lohnansprüche für die folgende Zeit ausgeschlossen sind.
Die Vorinstanz hat sich auf § 80 Abs. 2 des kantonalen Verwaltungsrechtspflegesetzes (VRG) vom 24. Mai 1959 gestützt. Danach stellt das Verwaltungsgericht, wenn es eine Kündigung für nicht gerechtfertigt hält, dies fest und bestimmt die Entschädigung, welche das Gemeinwesen zu entrichten hat. Das kantonale Gericht hat in Anwendung dieser Bestimmung die Kündigung ungeachtet ihrer Mängel als wirksam betrachtet und weitere Ansprüche lediglich unter dem Gesichtspunkt der Entschädigung geprüft.
Das Bundesgericht hatte im Urteil 2P.208/2004 vom 14. Januar 2005 einen ebenfalls den Kanton Zürich betreffenden und auch im Übrigen vergleichbaren Fall zu beurteilen. Es ist zum Ergebnis gelangt, die vom Verwaltungsgericht vorgenommene Anwendung von § 80 Abs. 2 VRG, wonach selbst eine mangelhafte Kündigung nicht rückgängig gemacht und lediglich eine Geldentschädigung zugesprochen werden könne, sei nicht willkürlich (E. 2 des erwähnten Urteils).
Der Beschwerdeführer bringt nichts vor, was im vorliegenden Fall auf Willkür schliessen liesse und damit eine abweichende Betrachtungsweise zu rechtfertigen vermöchte.
5. Der Beschwerdeführer beanstandet sodann, namentlich unter Hinweis auf die Mängel der Kündigung, die Höhe der zugesprochenen Entschädigung.
Das kantonale Gericht hat die Entschädigung in Anwendung von § 80 Abs. 2 VRG in Verbindung mit § 18 Abs. 2 Personalgesetz und Art. 336a Abs. 2 OR bestimmt. Danach beträgt die Entschädigung bis zu sechs Monatslöhnen. Die Vorinstanz hat die Entschädigung auf dieses Höchstmass festgesetzt und dies namentlich auch mit der Schwere der Kündigungsmängel begründet. Der Beschwerdeführer legt nicht dar, inwiefern dies willkürlich sein soll oder auf welche Rechtsgrundlage sich eine höhere Entschädigung stützen liesse. Die Beschwerde ist somit auch diesbezüglich unbegründet.
6. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die Verfassungsbeschwerde wird nicht eingetreten.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
3. Die Gerichtskosten von Fr. 2000.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 4. Abteilung, schriftlich mitgeteilt.
Luzern, 31. August 2009
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Lanz