Fatti: A. Il 10 giugno 2008 è apparso sul Foglio ufficiale del Cantone Ticino il bando di concorso per l'assunzione segnatamente di un docente di sostegno pedagogico presso le scuole comunali di Chiasso, che sarebbe stato nominato a metà tempo. L'avviso elencava i requisiti che i candidati dovevano adempiere ed esigeva tra l'altro il certificato rilasciato dall'Istituto cantonale di abilitazione o dall'Alta scuola pedagogica, oppure il certificato di superamento della prova di assunzione, oppure ancora la dichiarazione di validità dei titoli ai fini dell'assunzione anche senza abilitazione. Al concorso hanno partecipato 29 candidati, tra cui A._ e B._. B. Il 29 luglio 2008 il Municipio di Chiasso ha risolto di assumere A._ quale docente nominato a metà tempo. Gli ha quindi comunicato la decisione, ricordandogli che era riservata la facoltà di ricorso, nei termini di legge, ad ogni persona lesa direttamente nei suoi legittimi interessi. Il Municipio ha contestualmente comunicato a B._ la sua mancata assunzione. C. B._ si è aggravata contro la risoluzione municipale dinanzi al Consiglio di Stato del Cantone Ticino, che con decisione del 24 settembre 2008 ha parzialmente accolto il gravame. Il Governo ha rilevato che A._ non aveva conseguito l'abilitazione all'insegnamento, necessaria per esercitare la professione di docente nelle scuole pubbliche del Cantone: egli non poteva quindi occupare un posto per il quale era prevista una nomina, ma poteva soltanto partecipare ai concorsi per incarichi fino agli anni 2010-2011. Il Governo ha pertanto annullato la risoluzione impugnata e ha rinviato gli atti al Municipio perché riapra il concorso o proceda a una nuova nomina sulla base delle candidature valide inoltrate. D. A._ impugna questa decisione con un ricorso in materia di diritto pubblico e un ricorso sussidiario in materia costituzionale davanti al Tribunale federale, chiedendo in via principale di annullarla e di confermare la sua nomina quale docente di sostegno pedagogico a metà tempo. In via subordinata, chiede di essere incaricato in tale qualità fino al conseguimento dell'abilitazione in occasione del prossimo corso indetto dall'Alta scuola pedagogica. In via ulteriormente subordinata postula l'annullamento della decisione impugnata affinché sulla fattispecie statuisca innanzitutto il Dipartimento dell'educazione, della cultura e dello sport. Il ricorrente lamenta in sostanza la violazione degli art. 5, 9 e 29 Cost. E. Invitati ad esprimersi sul gravame, il Consiglio di Stato e il Municipio di Chiasso si rimettono al giudizio del Tribunale federale. Il Governo cantonale ribadisce comunque che l'abilitazione all'insegnamento è la condizione indispensabile prevista dalla legge per esercitare l'attività di docente di sostegno pedagogico nelle scuole elementari. B._ e il Dipartimento dell'educazione, della cultura e dello sport (Dipartimento) postulano invece la reiezione dei ricorsi. Con decreto presidenziale del 19 novembre 2008 è stato conferito al gravame l'effetto sospensivo.