Fatti:
A. A.a Il 25 luglio 2003 il Municipio Y._ ha nominato O._ quale vicedirettore delle locali scuole comunali.
Il 27 novembre 2007 detto Municipio ha conferito al prof. A._, consulente in ingegneria dello sviluppo istituzionale in ambito formativo, il compito di operare una verifica completa su tutte le componenti delle scuole comunali di X._. Il 21 maggio 2008 il perito ha consegnato all'Esecutivo comunale il suo referto nel quale evidenziava una serie di problemi cronici, segnatamente di natura comunicativa, strutturale e di conduzione che rischiavano di compromettere in modo serio l'offerta educativa della scuola, e formulava diverse raccomandazioni in vista di una sua riforma. Tra le varie raccomandazioni l'esperto rilevava che una conferma del vicedirettore - come peraltro pure della direttrice, Z._-, con i compiti che gli erano stati affidati, non era plausibile alla luce dell'analisi condotta e che occorreva valutare la possibilità di un suo (loro) riorientamento.
A partire dal 5 giugno successivo, su incarico del Municipio, l'esperto ha avuto una serie di colloqui con la direttrice ed il vicedirettore per approfondire le possibilità di un loro ricollocamento all'interno delle nuove scuole. Nonostante le richieste degli interessati, il rapporto peritale non è però stato consegnato loro. Principale oggetto delle discussioni era la possibilità, per loro, di dirigere al 50% uno dei quattro istituti scolastici previsti dalla riforma e di completare l'attività, per la parte rimanente, con altre mansioni. Le discussioni, turbate anche dalla pubblicazione di due articoli apparsi su D._, nei quali si faceva allusione alla pretesa intenzione dell'Esecutivo comunale di non confermare in carica la direttrice e il vicedirettore, sono fallite il 26 giugno 2008.
In seguito a una conferenza stampa organizzata, unitamente al perito, il 27 giugno 2008 dal capodicastero scuole (nonché sindaco), la direttrice e il vicedirettore hanno distribuito, il 28 giugno seguente, alla popolazione di X._ un "comunicato a difesa della scuola comunale" nel quale esternavano i propri dubbi sull'idoneità e l'indipendenza dell'esperto incaricato.
A.b Con decisione del 30 giugno 2008 il Municipio ha risolto di non confermare O._ nella sua funzione di vicedirettore (come pure Z._in quella di direttrice) per il quadriennio 2008-2012 e precisato che il rapporto d'impiego avrebbe preso fine il 20 ottobre 2008, ovvero al termine del periodo amministrativo. A motivazione del provvedimento l'Esecutivo comunale ha elencato una serie di mancanze rilevate dall'esperto che rendevano, a mente dell'autorità di nomina, ragionevolmente inesigibile la continuazione del rapporto d'impiego. A un eventuale ricorso è stato preventivamente tolto l'effetto sospensivo.
Dopo avere, il 1° luglio 2008, inoltrato una denuncia penale nei confronti del sindaco B._ e del prof. A._ per titolo di coazione, abuso di autorità (limitatamente al capodicastero) e lesioni corporali gravi, la direttrice e il vicedirettore, per il tramite del loro legale, hanno diramato, il 2 luglio 2008, un comunicato stampa in cui attaccavano l'operato del sindaco, del segretario comunale e del perito. Il comunicato esprimeva tra le altre cose il timore di un utilizzo di denaro pubblico per coprire le mancanze del sindaco e del segretario comunale, ai quali della scuola non sarebbe mai importato granché, e censurava le tecniche e le violenze psicologiche alle quali essi sarebbero stati esposti ad opera del sindaco e del perito per ottenerne le dimissioni.
A.c Il 4 luglio 2008 il Municipio ha deciso l'apertura di un'inchiesta disciplinare nei confronti di O._ (come pure di Z._) al quale ha rimproverato gravi violazioni dei doveri di servizio, in particolare per avere rilasciato dichiarazioni gravemente lesive dell'onore e dell'immagine dei membri dell'Esecutivo, del consulente e dell'amministrazione, per avere organizzato un'azione di volantinaggio contro il datore di lavoro sull'area pubblica, per avere diramato comunicati stampa senza la necessaria autorizzazione e più in generale per avere agito contro l'interesse del Comune. Nel contempo ha decretato nei confronti dell'interessato l'immediata sospensione dalla carica con garanzia però dello stipendio fino a fine contratto. Anche a un eventuale ricorso contro tale decisione è stato tolto l'effetto sospensivo.
B. Dopo avere il suo Presidente conferito l'effetto sospensivo al ricorso contro la decisione di mancata conferma (decreto del 31 luglio 2008) e averlo per contro negato in relazione alla misura di sospensione immediata dalla carica (decreto del 20 ottobre 2008), il Consiglio di Stato del Cantone Ticino, per risoluzione del 2 dicembre 2008, ha confermato nel merito le decisioni municipali del 30 giugno (mancata conferma) e del 4 luglio 2008 (sospensione immediata).
C. Con giudizio del 23 febbraio 2009 il Tribunale cantonale amministrativo ha respinto il ricorso di O._ contro la risoluzione governativa del 2 dicembre 2008 (dispositivo, cifra 1), mentre ha stralciato dai ruoli - poiché divenuti privi di oggetto in seguito all'emanazione della decisione sul merito del 2 dicembre 2008 - i gravami presentati dal Comune X._, rispettivamente dallo stesso O._, contro i decreti 31 luglio e 20 ottobre 2008 con cui il Presidente del Consiglio di Stato si era determinato a proposito del conferimento dell'effetto sospensivo ai ricorsi inoltrati contro le decisioni municipali (dispositivo, cifra 2). Per il resto, ha posto la tassa di giustizia e le spese, per complessivi fr. 1'000.-, a carico dell'interessato (dispositivo, cifra 3).
In sostanza, ricordato l'ampio margine discrezionale di cui dispone l'autorità di nomina nel presente contesto, la Corte cantonale ha ritenuto che la decisione di mancata conferma risultava oggettivamente fondata ed appariva anzi necessaria per tutelare il processo di riorganizzazione delle scuole comunali appena avviato. Riguardo al provvedimento disciplinare, i giudici cantonali hanno osservato che, dopo gli attacchi pubblici sferrati nei confronti dei suoi organi e del consulente designato dal Municipio, l'interesse del Comune di far procedere senza ostacoli il processo di riorganizzazione delle scuole comunali ostava manifestamente al mantenimento (ancorché temporaneo) di O._ nel suo ruolo di vicedirettore.
D. O._ è insorto dinanzi al Tribunale federale mediante un atto denominato "ricorso di diritto pubblico e ricorso in materia costituzionale", con cui chiede l'annullamento delle cifre 1 e 3 del giudizio del Tribunale cantonale amministrativo, nonché delle decisioni 2 dicembre 2008 del Consiglio di Stato e 30 giugno e 4 luglio 2008 del Municipio Y._. In sintesi, a motivazione dei ricorsi fa valere una violazione del diritto di essere sentito (<ref-law>), del divieto dell'arbitrio (<ref-law>), del principio della proporzionalità e del principio della buona fede (<ref-law>).
Il Municipio propone la reiezione dei gravami nella misura della loro ricevibilità, mentre il Tribunale cantonale amministrativo si riconferma nelle conclusioni del suo giudizio.

Diritto:
1. Il Tribunale federale esamina d'ufficio e con pieno potere di cognizione la sua competenza (<ref-law>), rispettivamente l'ammissibilità dei gravami che gli vengono sottoposti (<ref-ruling> consid. 1; <ref-ruling> consid. 1.1).
1.1 Competente a statuire sui presenti ricorsi è la Prima Corte di diritto sociale (art. 34 lett. h del regolamento del Tribunale federale del 20 novembre 2006, nella sua versione in vigore dal 1° gennaio 2009 [RTF; RS 173.110.131]).
1.2 Preliminarmente, il Municipio opponente contesta la tempestività dei ricorsi. Sennonché il giudizio impugnato, spedito il 2 marzo 2009, è stato ritirato dal ricorrente il 4 marzo seguente, mentre l'atto ricorsuale è stato consegnato alla posta il 2 aprile 2009. In tali condizioni, tenuto conto delle disposizioni in materia che reggono l'osservanza dei termini di ricorso (art. 44 cpv. 2 e 48 cpv. 1 in relazione con l'<ref-law>), i gravami sono tempestivi.
1.3 Giusta l'art. 83 lett. g LTF, in materia di rapporti di lavoro di diritto pubblico, nella misura in cui, come nel caso di specie, non è in discussione la questione della parità dei sessi, il ricorso in materia di diritto pubblico è inammissibile contro le decisioni che concernono una controversia non patrimoniale. Ora, il ricorrente non chiede espressamente il versamento di una somma in denaro. Tuttavia, dal momento che postula anche l'annullamento della decisione municipale del 30 giugno 2008, egli domanda, implicitamente, di essere reintegrato nello statuto di funzionario per il periodo amministrativo 2008-2012, ritenuto che in caso di annullamento del provvedimento in esame interverrebbe la presunzione di riconferma dell'art. 127 cpv. 2 della legge organica comunale del 10 marzo 1987 (LOC), o quanto meno di essere indennizzato. In tali circostanze, poiché la sua azione giudiziaria persegue, almeno parzialmente, uno scopo di natura economica e può essere stimata in denaro, la si può considerare di natura patrimoniale (cfr. sentenze 1C_539/2008 del 4 maggio 2009, consid. 1, 1C_547/2008 del 23 febbraio 2009, consid. 2.2, e 1C_116/2007 del 24 settembre 2009, consid. 2 con riferimenti; cfr. pure Alain Wurzburger, in Corboz/Wurzburger/Ferrari/Frésard/Aubry Girardin, Commentaire de la LTF, 2009, n. 101 all'<ref-law>). Ne discende che, per quanto concerne il ricorso contro la decisione di mancata conferma, il motivo di esclusione dell'art. 83 lett. g LTF non trova applicazione. La controversia verte in sostanza su un periodo amministrativo di quattro anni, nel corso del quale il ricorrente percepirebbe un salario che certamente raggiungerebbe il valore minimo di fr. 15'000.- prescritto dall'<ref-law> per ammettere in questo ambito un ricorso in materia di diritto pubblico (<ref-law>; cfr. pure sentenza citata 1C_116/2007 ibidem). Di conseguenza, nella misura in cui è teso a contestare la decisione di mancata conferma dalla carica di vicedirettore delle scuole comunali per il periodo 2008-2012, il ricorso in materia di diritto pubblico, presentato in tempo utile dal destinatario della decisione impugnata, che in quanto tale risulta senz'altro legittimato ad agire (<ref-law>; sentenza citata 1C_116/2007 ibidem), è ricevibile. Su questo punto non vi è più spazio per un ricorso sussidiario in materia costituzionale (<ref-law>).
1.4 Per quanto attiene invece specificatamente alla questione della sospensione immediata dal servizio, l'azione ricorsuale non persegue, nemmeno parzialmente, uno scopo economico perché all'interessato è stato garantito il diritto allo stipendio (cfr., e contrario, sentenza 1C_459/2008 del 13 gennaio 2009, consid. 1.1). Di conseguenza, la controversia, di natura non patrimoniale, ricade limitatamente a questo aspetto sotto la clausola di esclusione dell'art. 83 lett. g LTF e il ricorso in materia di diritto pubblico si dimostra irricevibile. Resta così proponibile unicamente il ricorso sussidiario in materia costituzionale ai sensi degli art. 113 segg. LTF, con cui può essere censurata soltanto la violazione di diritti costituzionali (v. art. 98 e <ref-law>) e ciò soltanto alle rigorose condizioni di motivazione stabilite dall'<ref-law>, cui rinvia l'<ref-law> (cfr. <ref-ruling> consid. 3.2 pag. 88 con riferimenti).
1.4.1 L'<ref-law> rinvia segnatamente agli art. 90-94 LTF riguardanti le decisioni impugnabili. Il ricorso sussidiario in materia costituzionale è di conseguenza ammissibile, di principio, solo contro una decisione finale. Il ricorso contro una decisione parziale, pregiudiziale o incidentale è per contro possibile solo alle condizioni stabilite dagli art. 91-93 LTF.
1.4.2 La sospensione preventiva è una misura di sicurezza adottata nell'interesse del buon funzionamento dell'amministrazione in vista di una eventuale misura definitiva di licenziamento per giustificati motivi. Si tratta dunque di una misura cautelare volta ad eliminare le disfunzioni dell'amministrazione nel caso in cui la situazione esiga una soluzione immediata. Fondata su un apprezzamento prima facie dei fatti, la sospensione preventiva non pregiudica l'esito di una eventuale procedura di licenziamento per giustificati motivi. Sebbene possa essere ordinata prima o durante lo svolgimento di una simile procedura, essa non possiede carattere autonomo e rappresenta di per sé una tappa nell'ambito di una procedura di licenziamento, costituendo di conseguenza una decisione incidentale ai sensi dell'<ref-law> (v. sentenza citata 1C_459/2008, consid. 1.2).
1.4.3 Nel caso di specie, però, il Municipio opponente non ha emanato una decisione disciplinare finale, verosimilmente perché ha ritenuto che con il provvedimento di mancata conferma il rapporto d'impiego giungeva comunque a termine il 20 ottobre 2008 (sulla [im]possibilità di emanare una misura disciplinare al termine del rapporto che lega il funzionario all'ente statale cfr. pure Häfelin/Müller/Uhlmann, Allgemeines Verwaltungsrecht, 5a ed., 2006, n. 1191). In tali condizioni, ci si potrebbe domandare se il ricorso contro il provvedimento sospensivo non vada dichiarato irricevibile già solo per il motivo che la decisione di mancata conferma avrebbe reso priva di oggetto - a partire dal 20 ottobre 2008 - questa misura cautelare (cfr. in questo senso, per analogia, sentenza 2P.226/1995 del 13 novembre 1995, consid. 3b).
1.4.4 Ad ogni modo, il ricorrente non allega, né tanto meno dimostra che la decisione cautelare gli arrecherebbe un pregiudizio irreparabile (<ref-law>; la seconda ipotesi contemplata dalla lett. b non entra per contro in linea di conto). Né l'esistenza di un simile pregiudizio appare evidente (<ref-ruling> consid. 2.3.1 pag. 632), non fosse altro perché all'insorgente è stato garantito il diritto allo stipendio (cfr. pure sentenze 8C_473/2009 del 3 agosto 2009, consid. 4.3, 1C_459/2008, citata, consid. 13. e 1.4, e 1P.613/1999 del 24 gennaio 2000, consid. 2c).
1.4.5 E anche qualora si volesse riconoscere portata propria alla decisione di sospensione immediata dal servizio - perché altrimenti il ricorrente non avrebbe modo di impugnarla, rendendo impossibile un controllo da parte del Tribunale federale (v. sentenze citate 8C_473/2009, consid. 4.3.1, e 1C_459/2008, consid. 1.4 e contrario) -, il risultato non cambierebbe poiché il ricorso risulterebbe quanto meno manifestamente immotivato. Con il ricorso sussidiario in materia costituzionale può venir censurata unicamente la violazione di diritti costituzionali (<ref-law>). Il rispetto di tali diritti non è esaminato d'ufficio, come per le norme legislative federali (<ref-law>; cfr. però DTF <ref-ruling> consid. 1.4.1 pag. 254), ma soltanto se il ricorrente ha sollevato e motivato le relative contestazioni (art. 117 e 106 cpv. 2 LTF). L'atto di ricorso deve perciò soddisfare esigenze formali accresciute. Occorre infatti che le censure siano esposte in modo chiaro e circostanziato, supportate da un'esauriente motivazione giuridica e, per quanto possibile, documentate. Il Tribunale federale non entra nel merito di critiche formulate in maniera puramente appellatoria (<ref-ruling> consid. 2.2 pag. 246; <ref-ruling> consid. 3.2 pag. 88).
Nel caso di specie, limitandosi a rinviare a quanto esposto in relazione alla contestata decisione di mancata conferma e ad esporre per il resto il punto di vista dell'insorgente, la memoria ricorsuale non spiega con un'argomentazione chiara e precisa perché la decisione impugnata (di sospensione immediata) risulterebbe non soltanto errata, ma addirittura lesiva della Costituzione. Nella misura in cui non adempie (nemmeno) le rigorose esigenze di motivazione imposte dall'<ref-law>, il ricorso sussidiario in materia costituzionale risulta pertanto inammissibile.
2. Con una censura d'ordine formale, che occorre esaminare in via preliminare, il ricorrente rimprovera al Tribunale cantonale di non avere sanzionato, come invece avrebbe dovuto, la violazione del suo diritto di essere sentito ad opera del Municipio Y._, il quale, per quanto accertato in maniera incontestata dagli stessi giudici cantonali, ha deciso la sua mancata conferma in carica senza formalmente, preventivamente offrirgli la possibilità di prendere posizione sul provvedimento.
2.1 Pur riconoscendo che il Municipio ha indubitabilmente violato il diritto di essere sentito del dipendente e pur reputando di una certa gravità tale violazione, la Corte cantonale ha ritenuto che la lesione poteva essere sanata grazie al ricorso inoltrato dall'interessato al Consiglio di Stato che dispone di pieno potere cognitivo. Inoltre ha osservato che il Municipio era costretto ad agire in tempi ristretti e che per ossequiare il termine di tre mesi di cui all'art. 132 cpv. 1 LOC, cui rinvia l'art. 127 cpv. 2 LOC, una decisione di mancata conferma doveva pervenire al ricorrente entro il 20 luglio 2008, vale a dire soli 20 giorni dopo che l'Esecutivo aveva deciso di separarsi da lui. In tali condizioni, i primi giudici hanno concluso che se anche avesse fissato un termine di 10-15 giorni per formulare delle osservazioni, tenuto conto dei tempi di notifica e di ricezione, il Municipio non sarebbe stato in grado di deliberare definitivamente entro quella data.
2.2 Il contenuto del diritto di essere sentito è determinato in primo luogo dalle disposizioni cantonali di procedura, sindacabili da parte del Tribunale federale solamente sotto il ristretto profilo dell'arbitrio; in ogni caso l'autorità cantonale deve tuttavia osservare le garanzie minime dedotte direttamente dall'<ref-law>, il cui rispetto è verificato dal Tribunale federale con pieno potere d'esame (<ref-ruling> consid. 3 pag. 194).
Nell'evenienza concreta, il ricorrente non invoca la violazione di una disposizione cantonale relativa al diritto di essere sentito, per cui la censura va esclusivamente esaminata alla luce dell'<ref-law> Del resto la LOC non prescrive espressamente che il funzionario debba essere sentito prima dell'emanazione di una decisione di mancata conferma nei suoi confronti.
2.3 Per costante giurisprudenza, dal diritto di essere sentito garantito dall'<ref-law> deve in particolare essere dedotto il diritto per l'interessato di esprimersi prima della resa di una decisione sfavorevole nei suoi confronti, quello di fornire prove circa i fatti suscettibili di influire sul provvedimento, quello di poter prendere visione dell'incarto, quello di partecipare all'assunzione delle prove, di prenderne conoscenza e di determinarsi al riguardo (<ref-ruling> consid. 3.1 pag. 370 e sentenze ivi citate).
Va poi rammentato che quando il Tribunale federale controlla l'applicazione dell'<ref-law>, esso ne determina il contenuto e la portata in funzione della situazione concreta e tenuto conto degli interessi in gioco (<ref-ruling> consid. 2d pag. 68 seg.). Vanno in particolare considerati, da un lato, il pregiudizio alla situazione dell'interessato così come risulta dalla decisione che deve essere adottata e, dall'altro, l'importanza e l'urgenza dell'intervento amministrativo (sentenza 2P.63/2003 del 29 luglio 2003, consid. 3.2). In generale, quanto più la decisione che ci si appresta a prendere è suscettibile di pregiudicare la posizione dell'interessato, tanto più il diritto di essere sentito di quest'ultimo va accordato e riconosciuto ampiamente (cfr. <ref-ruling> consid. 2b/cc pag. 197; cfr. pure sentenza 2P.46/2006 del 7 giugno 2006, consid. 4.3 con riferimenti). Occorre inoltre ugualmente tenere conto delle garanzie che la procedura offre alla difesa dell'interessato; in particolare, ci si mostrerà meno esigenti con la stretta osservanza del diritto di essere sentito se è data la possibilità di portare la contestazione davanti a un'autorità di ricorso dotata di pieno potere di esame (<ref-ruling> consid. 2d pag. 69 seg.; <ref-ruling> consid. 2b), a condizione però che la violazione non sia di particolare gravità (<ref-ruling> consid. 2 pag. 72).
2.4 Per quanto concerne più specificatamente il tema in esame, dottrina e giurisprudenza hanno già avuto modo di riconoscere di principio - anche in assenza di una specifica disposizione - il diritto di essere previamente sentito al funzionario nei cui confronti sta per essere rilasciata una decisione di mancata conferma (v. ad esempio sentenza 2P.327/2001 del 27 maggio 2002, consid. 3.2; cfr. inoltre Peter Hänni, La fin des rapports de service en droit public in: RDAF 1995, pag. 407 segg., pag. 434; Gabrielle Steffen, Le droit d'être entendu du collaborateur de la fonction publique: juste une question de procédure?, in RJN 2005, pag. 51 segg., pag. 63; Eros Ratti, Il Comune, vol. II, 1988, pag. 1274). Il Tribunale federale ha parimenti precisato che, benché non conferisca la facoltà di esprimersi sulla valutazione giuridica dei fatti, il diritto di essere sentito può unicamente adempiere correttamente il proprio scopo se la persona interessata sa (o deve sapere) con chiarezza (v. sentenza 2P.214/2000 del 5 gennaio 2001, consid. 4a con riferimenti) che nei suoi confronti sta per essere presa una decisione di determinata natura (sentenza 2P.241/1996 del 27 novembre 1996, consid. 2c).
2.5 Nel caso di specie, come accertato in maniera vincolante dalla Corte cantonale (art. 105 cpv. 1 e 2 LTF), il Municipio ha deciso la mancata conferma in carica di O._ senza formalmente, preventivamente offrire all'interessato la possibilità di prendere posizione sul provvedimento.
Certo, ci si potrebbe domandare se il ricorrente non potesse o dovesse comunque attendersi la decisione di mancata conferma dopo che la stampa già il 7 giugno 2008 aveva accennato alle presunte intenzioni dell'Esecutivo comunale di non rinnovare il rapporto d'impiego. Allo stesso modo ci si potrebbe chiedere se il diritto di essere sentito non sia stato altrimenti salvaguardato dal fatto che il ricorrente ha comunque avuto modo di discutere a più riprese con il perito A._ la prospettiva di un suo ricollocamento. La risposta ad entrambe le domande è tuttavia negativa.
2.5.1 Da un lato, infatti, si ricorda che ancora in data 26 giugno 2008, in occasione dell'ultimo incontro, l'esperto aveva rassicurato l'interessato, precisando che "non ho mai messo in dubbio il fatto che sia a rischio la vostra posizione all'interno della scuola per cui ... a me ha sorpreso tra le varie righe dette il fatto che da una qualche parte si pensasse a una vostra esclusione dalla scuola o ad un impegno parziale o cose di questo genere. Io non sono mai neanche entrato in questo genere di logica perché non c'è scritto da nessuna parte una cosa di questo tipo. Io non ho mai consigliato, raccomandato nulla di questo tipo", prima di soggiungere che "....quindi non posso neanche immaginare che ci possa essere uno scenario di questo genere. Scusate, qui sarà una mia ingenuità ma io non ho mai sentito neanche da parte del municipio un'intenzione di questo genere. Quindi io parto dal presupposto che, fermo restando che il vostro impegno all'interno della scuola di X._ rimane un pacchetto del 100%, la discussione era [...] di riorientare...." (trascrizione della registrazione dell'incontro del 26 giugno 2008, pag. 6).
Ciò significa che ancora il giorno dopo la seduta del 25 giugno 2008, in cui il Municipio aveva risolto (ma non ancora comunicato) di non confermare il ricorrente nella sua funzione, quest'ultimo era ancora all'oscuro della reale intenzione del Municipio di non rinnovare il rapporto d'impiego, e comunque non era propriamente stato invitato ad esprimersi su un simile provvedimento (cfr. per analogia <ref-ruling> consid. 3b pag. 174, nonché sentenza citata 2P.46/2006, consid. 4.5).
2.5.2 D'altro lato non va dimenticato che spetta alla competente autorità decidente (generalmente all'autorità di nomina) sentire - anche solo in maniera relativamente informale (sentenza citata 2P.214/2000, consid. 4a) - gli interessati (Steffen, op. cit., pag. 63; Michele Albertini, Der verfassungsmässige Anspruch auf rechtliches Gehör im Verwaltungsverfahren des modernen Staates, 2000, pag. 207). In assenza di una delega di competenza fondata su una base legale, le discussioni intercorse con il consulente incaricato dal Municipio di verificare lo stato della scuola comunale non potevano pertanto liberare il Municipio dall'obbligo di sentire preventivamente il dipendente; tanto più che, per quanto appena esposto (consid. 2.5.1), quest'ultimo nemmeno doveva in modo chiaro attendersi l'emanazione di una decisione di mancata conferma. Anche in questa misura la presente fattispecie si differenzia da quella esaminata dal Tribunale federale nella sentenza citata 2P.214/2000, in cui una discussione con le competenti autorità scolastiche aveva preceduto la decisione di non continuare il rapporto d'impiego.
2.5.3 E comunque, non avendo, fino al momento della presentazione dell'allegato di replica dinanzi al Consiglio di Stato, potuto prendere visione del rapporto peritale (peraltro contenente vari omissis e in gran parte silente sull'identità delle persone interrogate come pure sul contenuto dei colloqui che avevano permesso di sviluppare la relativa valutazione) su cui si era basato il Municipio per la propria decisione, il ricorrente nemmeno era stato posto nella condizione di preparare le proprie argomentazioni ed esprimersi convenientemente sui punti essenziali del provvedimento (<ref-ruling> consid. 4.1 pag. 88; <ref-ruling> consid. 2b pag. 10; Steffen, op. cit., pag. 58).
2.5.4 O._ avrebbe dovuto potersi esprimere sui punti essenziali del provvedimento prima che venisse adottata la decisione di mancata conferma che lo ha toccato nella sua situazione giuridica (in questo senso anche sentenza citata 2P.327/2001, consid. 3.2). Non avendo concesso questo diritto, il Municipio ha contravvenuto all'obbligo sancito dall'<ref-law>
2.6 Resta a questo punto da esaminare se, come sostiene la Corte cantonale, il vizio poteva essere sanato nell'ambito della procedura di ricorso dinanzi al Consiglio di Stato.
2.6.1 Il diritto di essere sentito è una garanzia costituzionale formale, la cui violazione implica, di principio, l'annullamento della decisione impugnata, a prescindere dalle possibilità di successo nel merito (<ref-ruling> consid. 5.1 pag. 390; <ref-ruling> consid. 3d/aa pag. 437). Secondo la prassi del Tribunale federale, tuttavia, una violazione del diritto di essere sentito può essere sanata nell'ambito di una procedura di ricorso qualora l'autorità di ricorso disponga dello stesso potere di esame dell'autorità decidente (<ref-ruling> consid. 2.2.3 pag. 135; <ref-ruling> consid. 2 pag. 72; <ref-ruling> consid. 2d pag. 138; Albertini, op. cit., pag. 461). La riparazione del vizio deve tuttavia, segnatamente in presenza di gravi violazioni, rimanere l'eccezione, non fosse altro perché la concessione successiva del diritto di essere sentito costituisce sovente solo un surrogato imperfetto dell'omessa audizione preventiva (<ref-ruling> consid. 3c pag. 187; <ref-ruling> consid. 2b/cc pag. 197). Una riparazione entra inoltre in linea di considerazione solo se la persona interessata non abbia a subire pregiudizio dalla concessione successiva del diritto di essere sentito, rispettivamente dalla sanatoria. In nessun caso, comunque, può essere ammesso che l'autorità pervenga attraverso una violazione del diritto di essere sentito ad un risultato che non avrebbe mai ottenuto procedendo in modo corretto (<ref-ruling> consid. 2.2.3 pag. 135).
2.6.2 Il Tribunale cantonale ha giustificato la riparazione della violazione del diritto di essere sentito tra l'altro con il fatto che il Municipio era costretto ad agire rapidamente. Ha così rilevato che se avesse concesso all'interessato un termine di 10-15 giorni per presentare le proprie osservazioni, non sarebbe più stato in grado di deliberare entro il 20 luglio 2008, ultimo termine per potere notificare in tempo - in virtù dei combinati disposti degli art. 127 cpv. 2 e 132 cpv. 1 LOC - la decisione di mancata conferma. Ora, benché opinabile (sul tema cfr. ad esempio Steffen, op. cit., pag. 64, secondo cui - se non cade durante le vacanze o i giorni festivi - un termine di 8-10 giorni per esercitare il diritto di essere sentito è da ritenere ragionevole), l'accertamento della Corte cantonale non è manifestamente inesatto e vincola pertanto il Tribunale federale (<ref-law>).
2.6.3 Nondimeno, da questo accertamento l'istanza precedente ha tratto una conclusione giuridicamente errata. Se urgenza c'è stata - come hanno constatato i primi giudici -, questa era chiaramente ed esclusivamente imputabile all'autorità municipale che, ben conoscendo la cronicità del problema che da anni attanagliava la scuola comunale di X._ (v. rapporto finale A._, pag. 18 segg.), poteva e doveva organizzarsi in modo tale da preparare tempestivamente i provvedimenti che eventualmente si sarebbero imposti (in questo senso anche sentenza 6A.71/2001 del 13 novembre 2001, consid. 3). Già solo per questo motivo, la possibilità di una riparazione del vizio andava esclusa perché, attraverso una violazione del diritto di essere sentito, l'autorità è pervenuta ad un risultato (mancata conferma del ricorrente per il periodo 2008-2012) che non avrebbe ottenuto procedendo in modo corretto, vale a dire mettendo l'insorgente in condizione di esprimersi convenientemente sul provvedimento che si apprestava a prendere (<ref-ruling> consid. 2.2.3 pag. 135; sentenza citata 6A.71/2001, consid. 3). Inutile quindi dire che il ricorrente ha subito un (grave) pregiudizio dalla concessione solo successiva del diritto di essere sentito, rispettivamente dalla sanatoria.
2.6.4 La riparazione del vizio appare inoltre problematica anche per un altro aspetto. Pur fruendo di principio di un pieno potere cognitivo che gli consente di esaminare liberamente non solo le questioni di fatto e di diritto della controversia sottoposta alla sua cognizione, ma anche di rivedere ogni problema di apprezzamento e di opportunità (art. 56 della legge cantonale di procedura per le cause amministrative, del 19 aprile 1966; Borghi/Corti, Compendio di procedura amministrativa ticinese, 1997, pag. 289), il Consiglio di Stato sembra di fatto (giustamente: cfr. <ref-ruling> consid. 4a pag. 166; sentenza citata 1C_116/2007, consid. 4.2) riconoscere nella materia qui in esame un ampio margine discrezionale all'autorità di nomina. Come risulta chiaramente dalla risoluzione del 2 dicembre 2008, il Consiglio di Stato ticinese sembra così imporsi un certo riserbo nell'esame delle decisioni di mancata conferma delle autorità comunali, lasciando intendere che un intervento contro tali provvedimenti si giustificherebbe soltanto nella misura in cui questi ultimi integrino gli estremi di una violazione del diritto, in particolare sotto il profilo di un esercizio abusivo del potere di apprezzamento (cfr. decisioni 2 dicembre 2008 del Consiglio di Stato, pag. 5; in questo senso inoltre pure sentenze del Tribunale cantonale amministrativo 52.2004.321 dell'11 aprile 2006, consid. 3, 52.2001.4 del 9 febbraio 2001, consid. 2.2, e 52.2000.277 del 14 dicembre 2000, consid.2, consultabili al sito http://www.sentenze.ti.ch; cfr. infine Borghi/Corti, op. cit., pag. 289).
In queste circostanze, appare quanto meno dubbio che l'autorità di ricorso esercitasse lo stesso potere di esame spettante all'autorità decidente. Anche per questa ragione una riparazione del vizio andrebbe dunque negata, a meno che il Consiglio di Stato non abbia, nell'evenienza concreta, rinunciato a imporsi, di fatto, questa restrizione del potere d'esame (sentenza 2A.315/2001 del 26 novembre 2001, consid. 2b; Albertini, op. cit., pag. 461). Ciò non sembra però essere inequivocabilmente il caso, se non altro perché il Consiglio di Stato ha concluso la sua valutazione osservando che "non essendo [...] la decisione impugnata arbitraria, lo scrivente Consiglio non può quindi fare altro che confermarla".
2.6.5 In tali condizioni, il provvedimento di mancata conferma poteva essere pronunciato solo previa informazione dell'interessato e solo dopo avergli dato la possibilità di difendersi convenientemente e di esprimersi sui suoi punti essenziali. Unicamente la presenza di circostanze eccezionali, come ad esempio la necessità (non addebitabile all'autorità medesima) di agire rapidamente al fine di salvaguardare un importante interesse pubblico gravemente minacciato (<ref-ruling> consid. c pag. 24 seg.; Albertini, op. cit., pag. 309), avrebbe permesso di prescindere dall'audizione preventiva. Tali circostanze non ricorrevano tuttavia nel caso di specie. A queste considerazioni si aggiungono infine le ripercussioni che il provvedimento in causa ha prodotto sulla situazione dell'interessato che non solo si è ritrovato senza impiego, ma ha anche rischiato, vista la risonanza mediatica che ha accompagnato la vicenda, di subire un danno serio e difficilmente riparabile alla sua reputazione professionale (cfr. per analogia sentenza citata 2P.63/2003, consid. 3.3 e 3.4).
3. 3.1 Ne segue che il ricorso sussidiario in materia costituzionale deve essere dichiarato inammissibile, mentre il ricorso in materia di diritto pubblico, per quanto ricevibile, deve essere accolto e la pronuncia impugnata annullata nella misura in cui riguarda la decisione di mancata conferma dalla carica di vicedirettore, senza che si renda necessario esaminare la fondatezza delle altre censure fatte valere dall'insorgente, concernenti il merito del litigio.
3.2 Il ricorrente chiede, oltre all'annullamento della pronuncia impugnata, pure quello delle decisioni del Municipio e del Consiglio di Stato. La questione di sapere se il Tribunale federale debba dare seguito a tale richiesta non deve tuttavia essere ulteriormente approfondita. Non spetta infatti al Tribunale federale statuire, allo stadio attuale, sulle conseguenze dell'annullamento della pronuncia impugnata; tanto più che tali conseguenze sono regolate dal diritto comunale o cantonale. L'incombenza può dunque essere lasciata al Tribunale cantonale amministrativo, cui la causa deve comunque essere rinviata anche per un nuovo giudizio sulle spese giudiziarie e sulle ripetibili della sede cantonale (art. 68 cpv. 5 e art. 107 cpv. 2 LTF; cfr., per analogia, sentenza 1C_118/2008 del 5 settembre 2008, consid. 4.1). Si giustifica quindi di annullare unicamente il giudizio impugnato per quanto concerne la decisione di mancata conferma e di rinviare gli atti alla precedente istanza per nuova decisione.
4. Le spese seguono la soccombenza (<ref-law>) e sono ripartite in ragione di 3⁄4 a carico del Comune opponente e di 1⁄4 a carico del ricorrente (<ref-law>; cfr. sentenza 8C_158/2009 del 2 settembre 2009, consid. 8.14). In buona parte vincente in lite, l'insorgente, rappresentato da un legale, ha diritto a ripetibili ridotte (<ref-law>). Non sono per contro attribuite ripetibili al Comune opponente per la (limitata) misura in cui risulta vincente (cfr. <ref-law>).

Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso in materia di diritto pubblico è accolto nel senso che, annullato il giudizio del Tribunale amministrativo del Cantone Ticino del 23 febbraio 2009 limitatamente alla questione della mancata conferma dalla carica di vicedirettore, la causa è rinviata all'istanza precedente per nuovo giudizio su questo punto.
2. Il ricorso sussidiario in materia costituzionale è inammissibile.
3. Le spese giudiziarie sono poste a carico del Comune opponente per la quota di fr. 2'250.- e a carico del ricorrente per la quota di fr. 750.-.
4. Il Comune X._ verserà al ricorrente la somma di fr. 2'100.- a titolo di indennità di parte per la procedura federale.
5. Comunicazione alle parti e al Tribunale amministrativo del Cantone Ticino.