Fatti:
A. In data 20 marzo 2009 la Divisione della scuola del Dipartimento dell'educazione, della cultura e dello sport del Cantone Ticino (DECS) ha indetto un concorso pubblico tendente alla nomina del direttore della scuola media di B._ per il quadriennio 2009/2010-2013/2014. M._, attuale vicedirettore, e C._, entrambi docenti di matematica presso la sede interessata, hanno presentato la propria candidatura.
Alla luce della valutazione dei concorrenti eseguita dall'Ufficio dell'insegnamento medio (UIM), con decisione formale del 23 giugno 2009 il Consiglio di Stato del Cantone Ticino ha nominato C._ direttore della scuola media di B._.
In seguito al rinvio degli atti, pronunciato in data 30 settembre 2009 dal Tribunale cantonale amministrativo, su ricorso di M._, affinché spiegasse i motivi per cui aveva derogato al requisito della conoscenza di due lingue nazionali, il Consiglio di Stato ha allestito un rapporto di valutazione dei candidati concorrenti, confermando, con risoluzione governativa del 9 ottobre 2009, la nomina di C._ quale direttore, ritenuto che il miglior risultato conseguito permettesse di prescindere dalle conoscenze linguistiche.
B. Contro la decisione amministrativa M._, rappresentato da Legalscuola, Studio di consulenza e assistenza legale, è nuovamente insorto presso il Tribunale amministrativo del Cantone Ticino, chiedendone l'annullamento, con relativo rinvio degli atti al Consiglio di Stato, affinché gli conferisse la nomina di direttore.
Con giudizio del 7 gennaio 2010 la Corte adita ha respinto il ricorso nella misura in cui era ricevibile. Secondo il Tribunale amministrativo non violava il diritto ritenere che le carenze linguistiche potessero essere compensate dal miglior profilo professionale di C._.
C. Contro la pronuncia cantonale, M._, sempre rappresentato da Legalscuola, insorge con ricorso al Tribunale federale, chiedendone l'accoglimento, con conseguente annullamento della pronuncia impugnata, rispettivamente della risoluzione governativa del 9 ottobre 2009, e rinvio degli atti al Consiglio di Stato per esame del merito e nomina dell'unico candidato con tutti i requisiti. Dei motivi addotti nel gravame, particolarmente prolisso e ripetitivo, si dirà, se necessario, nei considerandi di diritto.
Chiamati a pronunciarsi, il DECS ha proposto di respingere il ricorso, il Tribunale amministrativo ha riconfermato le conclusioni esposte nel giudizio impugnato, mentre il Consiglio di Stato non si è espresso.
In data 20 maggio 2010 la giudice delegata ha respinto la richiesta di M._ di procedere ad un secondo scambio di allegati.
Diritto:
1. Il ricorrente postula l'annullamento sia del giudizio impugnato che della risoluzione governativa del 9 ottobre 2009 con cui C._ è stato nominato direttore della scuola media di B._ per il quadriennio 2009/2010-2013/2014, rispettivamente il rinvio degli atti al Consiglio di Stato per l'esame del merito e la relativa nomina quale direttore.
Al riguardo va preliminarmente rilevato che la questione circa la liceità, sollevata, ma non risolta, dal Tribunale cantonale amministrativo, della richiesta di annullamento della decisione (invece dell'eventuale accertamento dell'illegalità, analogamente a quanto previsto dall'art. 69 della legge ticinese di procedura per le cause amministrative [LPAmm, RL/TI 3.3.1.1] in caso di licenziamento, ipotesi in cui non vi è diritto alla riassunzione) può, per le considerazioni che seguono, rimanere irrisolta.
1.1 Il Tribunale federale si pronuncia d'ufficio e con pieno potere d'esame sulla propria competenza e sull'ammissibilità del rimedio esperito (art. 29 cpv. 1 LTF; DTF 133 III 462 consid. 2 pag. 465, 630 consid. 2).
1.2 Secondo l'art. 82 lett. a LTF il Tribunale federale giudica i ricorsi contro le decisioni pronunciate in cause di diritto pubblico. Per l'art. 83 lett. g LTF il ricorso è inammissibile, tra l'altro, contro le decisioni in materia di rapporti di lavoro di diritto pubblico, in quanto concernano una controversia non patrimoniale, ma non la parità dei sessi.
Al riguardo questa Corte ha già statuito che malgrado la parte interessata non postuli il versamento di una somma di denaro, bensì la reintegrazione nella funzione precedentemente esercitata, la pretesa persegue, seppure parzialmente, un fine economico e, nella misura in cui l'oggetto litigioso può essere valutato in denaro, va considerato di natura pecuniaria (sentenza 1C_116/2007 del 29 settembre 2007 consid. 2 e dottrina citata; cfr. anche sentenze 8C_411/2009 del 6 novembre 2009 consid. 1.2, 8C_322/2009 del 9 settembre 2009 consid. 1.3 e 8C_169/2009 del 28 luglio 2009 consid. 1.1).
La citata prassi va applicata anche nel presente caso in cui l'interessato, che non è stato nominato nella funzione per la quale si era candidato, chiede l'annullamento delle decisione di nomina a favore di un terzo, intervenuta tramite decisione formale (Thomas Häberli, in Basler Kommentar, Bundesgerichtsgesetz, 2008, n. 172 all'art. 83 LTF), con conseguente assegnazione della funzione contestata. La nomina a direttore implica, secondo la generale esperienza della vita, anche un avanzamento di tipo economico.
La citata prassi va applicata anche nel presente caso in cui l'interessato, che non è stato nominato nella funzione per la quale si era candidato, chiede l'annullamento delle decisione di nomina a favore di un terzo, intervenuta tramite decisione formale (Thomas Häberli, in Basler Kommentar, Bundesgerichtsgesetz, 2008, n. 172 all'art. 83 LTF), con conseguente assegnazione della funzione contestata. La nomina a direttore implica, secondo la generale esperienza della vita, anche un avanzamento di tipo economico.
1.3 1.3.1 Per l'art. 85 cpv. 1 lett. b LTF in materia patrimoniale il ricorso è inammissibile nel campo dei rapporti di lavoro di diritto pubblico, se il valore litigioso è inferiore a 15'000 franchi. L'art. 51 cpv. 2 LTF precisa che se nelle conclusioni non è chiesto il pagamento di una somma di denaro determinata, il Tribunale federale stabilisce il valore litigioso secondo il suo apprezzamento. Le rendite e prestazioni periodiche hanno il valore del capitale che rappresentano. Se la loro durata è incerta o illimitata, è considerato valore del capitale l'importo annuo della rendita o della prestazione moltiplicato per venti o, se si tratta di rendite vitalizie, il valore attuale del capitale corrispondente alla rendita (cpv. 4).
Se le conclusioni non tendono al pagamento di una somma di denaro e il valore litigioso non risulta di primo acchito dagli accertamenti di fatto della decisione impugnata o da altri elementi risultanti dall'incarto, il ricorrente deve indicare, conformemente all'art. 42 cpv. 1 e 2 LTF, pena l'inammissibilità del ricorso, elementi sufficienti da permettere al Tribunale federale di stimarne agevolmente l'ammontare (DTF 136 III 60 consid. 1.1 pag. 62).
1.3.2 Nel proprio gravame il ricorrente si limita a ritenere la vertenza di natura patrimoniale, considerando manifestamente raggiunto l'importo di fr. 15'000.-, trattandosi di una nomina a tempo indeterminato, per la quale è prevista una specifica classe di stipendio. Né dal giudizio impugnato, né dal ricorso e tantomeno dagli atti (o perlomeno non in misura sufficiente) emerge tuttavia alcunché circa l'ammontare del valore litigioso, che dovrebbe corrispondere alla differenza tra il salario percepito quale vicedirettore e quello conseguito quale direttore a partire dall' "eventuale" nomina (nel 2009) per un periodo di quattro anni (art. 28 cpv. 1 della legge ticinese della scuola del 1° febbraio 1990, RL/TI 5.1.1.1, quale lex specialis per direttori e vicedirettori dell'art. 15 della legge ticinese sull'ordinamento degli impiegati dello Stato e dei docenti [LORD], RL/TI 2.5.4.1, secondo cui la nomina è di regola a tempo indeterminato), e quindi fino al 2013, anno che coincide con il suo probabile pensionamento (a 65 anni: art. 58 lett. e e 64 cpv. 1 LORD).
Poiché non sono noti né (facilmente) deducibili, in concreto, i dati salariali rilevanti per stabilire il valore litigioso - dal bando di concorso si deducono infatti solo genericamente le classi di stipendio attuali e future, così come i valori minimi e massimi dello stipendio - né compete a questa Corte accertare i dati mancanti, il ricorso in materia di diritto pubblico dev'essere dichiarato irricevibile (DTF 136 III 60).
2. 2.1 Secondo l'art. 119 cpv. 1 LTF la parte che intende impugnare una decisione sia con un ricorso ordinario sia con un ricorso in materia costituzionale deve presentare entrambi i ricorsi con una sola e medesima istanza. Secondo giurisprudenza, inoltre, la circostanza che il ricorso sia stato intitolato scorrettamente non nuoce al suo autore se le condizioni della ricevibilità di tale ricorso sono adempiute (DTF 134 III 379 consid. 1.2 pag. 382; 133 II 396 consid. 2.1 pag. 398; 131 I 291 consid. 1.3 pag. 296). È pure necessario che il gravame possa essere convertito nel suo insieme; una conversione è infatti esclusa se alcune censure concernono il rimedio giuridico scelto, mentre altre andavano presentate tramite un altro rimedio (DTF 134 III 379 consid. 1.2 pag. 382; 131 III 268 consid. 6 pag. 279).
2.2 In concreto va quindi esaminato se il gravame può essere convertito in un ricorso sussidiario in materia costituzionale (art. 113 segg. LTF; DTF 133 II 396 consid. 3.1 pag. 399; sentenza 8C_473/2009 del 3 agosto 2009 consid. 4). Con detto rimedio può essere censurata unicamente la violazione di diritti costituzionali (art. 116 LTF). Giusta l'art. 115 LTF è legittimato al ricorso in materia costituzionale chiunque ha partecipato alla procedura dinanzi all'autorità inferiore o non gliene è stata data la possibilità (lett. a) e ha un interesse legittimo all'annullamento o alla modifica della decisione impugnata (lett. b).
2.3 Nel proprio atto di ricorso l'assicurato censura in particolare l'arbitrio nell'accertamento dei fatti e nella valutazione delle prove - l'accertamento risulterebbe incompleto e le prove inconsistenti e contraddittorie -, l'abuso del potere di apprezzamento, la violazione del diritto all'uguaglianza di trattamento a causa della discriminazione fondata sull'età e, infine, una lesione del principio della separazione dei poteri, consistente in un eccesso del potere di apprezzamento, tramite l'esame dell'adeguatezza da parte del Tribunale cantonale amministrativo.
2.4 Per quel che riguarda l'interesse legittimo dell'interessato all'annullamento o alla modifica della decisione impugnata va in primo luogo rilevato che egli non può avvalersi di alcun diritto cantonale alla nomina nel caso in cui l'assunzione dell'altro candidato venga annullata (sentenza P.1187/1984 del 10 ottobre 1984; DTF 133 I 185 consid. 4 pag. 191; Jean-Maurice Frésard, in: Corboz/Wurzburger/Ferrari/Frésard/Aubry Girardin, Commentaire de la LTF, 2009, n. 7 all'art. 115). Poiché il divieto generale dell'arbitrio di cui all'art. 9 Cost. (così come il principio generale dell'uguaglianza di trattamento garantito dall'art. 8 cpv. 1 Cost.) non attribuisce di per sé al ricorrente una posizione giuridica protetta ai sensi del citato art. 115 lett. b LTF (DTF 133 I 185 consid. 6.1 e 6.3 pag. 197 seg. e 200 com'era il caso nell'ambito del ricorso di diritto pubblico secondo l'art. 88 OG), da questo punto di vista il ricorso sussidiario in materia costituzionale è irricevibile.
Per contro l'insorgente può avvalersi della violazione del divieto di essere discriminato a causa dell'età (art. 8 cpv. 2 Cost.). In tal caso secondo la giurisprudenza pubblicata in DTF 133 I 185 consid. 6.2 pag. 198 e 129 I 217 consid. 1.1 pag. 220 la legittimazione a ricorrere ai sensi dell'art. 115 lett. b LTF è ammessa in quanto il diritto attribuisce direttamente alla parte una posizione protetta giuridicamente (si confronti anche Häberli, op. cit., n. 172 all'art. 83 LTF).
Infine l'interessato può invocare la violazione dei diritti di parte, equivalente ad un diniego di giustizia formale ("Star-Praxis": DTF 133 I 185 consid. 6.2 pag. 198), in particolare l'asserita violazione del principio della separazione dei poteri, che condurrebbe ad un abuso del potere di apprezzamento e quindi ad un diniego di giustizia.
3. Richiamata l'indicazione dei rimedi giuridici nella pronuncia cantonale, occorre ancora ricordare che competente a statuire sul presente ricorso è la Prima Corte di diritto sociale con sede a Lucerna (art. 34 lett. h del regolamento del Tribunale federale del 20 novembre 2006, nella sua versione in vigore dal 1° gennaio 2009 [RTF, RS 173.110.131]; sentenze 8C_770/2009 del 25 maggio 2010 consid. 3 e 8C_321/2009 del 9 settembre 2009 consid. 1.1, non pubblicato in DTF 135 I 279).
4. 4.1 Il rispetto dei diritti costituzionali (art. 116 LTF) non è esaminato d'ufficio, ma soltanto se il ricorrente solleva e motiva le relative contestazioni (art. 106 cpv. 2 e art. 117 LTF). È necessario quindi che il ricorrente specifichi quali diritti ritiene lesi ed esponga le sue censure in modo chiaro e circostanziato, accompagnandole da un'argomentazione esaustiva; in caso di asserita violazione del divieto d'arbitrio, segnatamente in relazione all'applicazione del diritto cantonale, deve spiegare in che misura la decisione impugnata sia - non solo a livello di motivazione, ma anche di risultato - manifestamente insostenibile, gravemente lesiva di una norma o di un principio giuridico indiscusso, oppure in contraddizione urtante con il sentimento di giustizia ed equità (DTF 133 III 393 consid. 6 pag. 397; 129 I 8 consid. 2.1 pag. 9). Il Tribunale federale non entra per contro nel merito di critiche formulate in maniera puramente appellatoria (DTF 134 II 244 consid. 2.2 pag. 246; sentenza 2C_41/2010 del 17 maggio 2010 consid. 1.3).
Il Tribunale federale fonda la sua sentenza sui fatti accertati dall'autorità inferiore (art. 118 cpv. 1 LTF). Può rettificare o completare d'ufficio l'accertamento dei fatti operato dall'autorità inferiore se è stato svolto in violazione del diritto ai sensi dell'articolo 116 (art. 118 cpv. 2 LTF).
4.2 Poiché entrambe le censure sono altresì sufficientemente motivate, il ricorso in materia di diritto pubblico può essere convertito in ricorso in materia costituzionale.
5. 5.1 Per l'art. 8 cpv. 1 Cost. tutti sono uguali davanti alla legge. Nessuno può essere discriminato, in particolare a causa dell'origine, della razza, del sesso, dell'età, della lingua, della posizione sociale, del modo di vita, delle convinzioni religiose, filosofiche o politiche, e di menomazioni fisiche, mentali o psichiche (cpv. 2).
Una discriminazione è data in particolare nell'ipotesi in cui una persona è trattata diversamente solo in quanto appartiene ad un determinato gruppo, che storicamente e nella realtà sociale attuale viene tendenzialmente emarginato oppure considerato inferiore. Questa forma qualificata di disuguaglianza di trattamento conduce ad un pregiudizio della persona, classificato quale emarginazione o svalutazione, in quanto si fonda su un criterio di distinzione che configura una parte rilevante e irrinunciabile (o a cui si può rinunciare difficilmente) della sua identità. Da questo punto di vista la discriminazione tocca pure degli aspetti della dignità umana (art. 7 Cost.). Il divieto di discriminazione non esclude tuttavia in maniera assoluta il riferimento ad una caratteristica invisa quale ad esempio l'origine, la razza, il sesso o il credo religioso. Tale richiamo, che fa sorgere in primo luogo unicamente il sospetto dell'esistenza di una distinzione inammissibile, può tuttavia essere invalidato tramite una giustificazione qualificata (DTF 130 I 352 consid. 6.1.2 pag. 357). Una discriminazione diretta o indiretta è tuttavia data se una regola, che non prevede alcun palese pregiudizio nei confronti di un gruppo specificatamente protetto contro la discriminazione, nei suoi effetti, senza alcuna giustificazione obbiettiva, sfavorisce particolarmente i membri di tale gruppo (DTF 129 I 217 consid. 2.1 pag. 223 con riferimenti di giurisprudenza e dottrina; Regina Kiener/Walter Kälin, Grundrechte, Berna 2007, pag. 359 segg.).
5.2 Questa Corte ritiene che nel caso in esame non è data alcuna discriminazione fondata sull'età di M._, prossimo al pensionamento, malgrado nella valutazione delle candidature al punto "prospettive professionali nella funzione di direttore" gli siano stati assegnati 3 punti, mentre a C._ 5, e quindi sia stato fatto indirettamente riferimento alla circostanza che il candidato M._ supera i sessantanni e pertanto la sua direzione potrà essere di breve durata.
Dal giudizio emerge infatti che sia l'amministrazione che il Tribunale amministrativo hanno proceduto ad una valutazione globale dei requisiti di entrambi i candidati in funzione dei compiti che saranno chiamati a svolgere nei prossimi anni, tenendo conto anche del fattore età, che gioca senz'altro un ruolo determinante per quanto riguarda la conduzione della scuola a lungo termine. Il fattore età ha pertanto fatto pendere la bilancia in favore di C._, il quale è, da un punto di vista obbiettivo, presumibilmente in grado di realizzare una politica di gestione della scuola a lungo termine. Tuttavia, pur non considerando tale fattore, la valutazione globale di C._ sarebbe risultata leggermente migliore. Non solo il fattore incriminato, infatti, ma anche altri, quali la formazione di base, professionale e continua, e le capacità relazionali e gestionali, così come quelle pedagogiche e didattiche, hanno indotto a ritenere più adeguato il candidato più giovane. In simili circostanze non si può certo concludere che il ricorrente è stato escluso unicamente a causa dell'età, senza alcuna giustificazione oggettiva.
6. 6.1 Il principio della separazione dei poteri è garantito almeno implicitamente da tutte le costituzioni cantonali e rappresenta un diritto costituzionale di cui si può prevalere il cittadino (DTF 134 I 322 consid. 2.2 pag. 326; sentenza 2C_763/2009 del 28 aprile 2010 consid. 5.1). Il Canton Ticino all'art. 51 Cost./TI prevede in particolare che l'autorità, in quanto non riservata al popolo, è esercitata dai tre poteri, tra loro distinti e separati, il Legislativo, l'Esecutivo, il Giudiziario.
Il contenuto del principio della separazione dei poteri, riconosciuto quale diritto individuale dei cittadini, è determinato in primo luogo dal diritto cantonale (DTF 128 I 113 consid. 2c pag. 116 e rinvii). Esso tutela il rispetto delle competenze stabilite dalla costituzione cantonale. È pertanto in primo luogo compito del diritto pubblico cantonale fissare le competenze delle autorità (DTF 130 I 1 consid. 3.1 pag. 5; 128 I 113 consid. 2c pag. 116 e numerosi riferimenti). Il principio della separazione dei poteri vieta in particolare ad un organo dello Stato di usurpare la competenza di un altro organo (DTF 134 I 322 consid. 2.2 pag. 326; 119 Ia 28 consid. 3 in fine pag. 34; 106 Ia 389 consid. 3 pag. 394).
6.2 Secondo il ricorrente, il Tribunale cantonale amministrativo avrebbe commesso un abuso del proprio potere di apprezzamento, eccedendo tale potere, in quanto avrebbe esaminato l'opportunità della decisione amministrativa, di competenza del Consiglio di Stato, invece di limitarsi ad accertarne la legalità.
6.2.1 Conformemente all'art. 110 LTF laddove sia prescritta, come nel caso di specie (art. 86 cpv. 2 LTF), l'istituzione di un tribunale quale autorità cantonale di ultima istanza, i Cantoni provvedono affinché quest'ultimo o un'autorità giudiziaria di istanza inferiore esamini liberamente i fatti e applichi d'ufficio il diritto determinante. L'art. 110 LTF si limita a realizzare sul piano legislativo la garanzia alla via giudiziaria introdotta dall'art. 29a Cost. (Messaggio concernente la revisione totale dell'organizzazione giudiziaria del 28 febbraio 2001, FF 2001 pag. 3904; Bernard Corboz, Commentaire de la LTF, 2009, n. 6 all'art. 110 LTF; Bernhard Ehrenzeller, Bundesgerichtsgesetz, 2007, n. 1 e 7 all'art. 110 LTF; Karl Spühler/Annette Dolge/Dominik Vock, Kurzkommentar zum Bundesgerichtsgesetz, 2006, n. 1 all'art. 110 LTF), che a sua volta estende, soprattutto nel campo del diritto amministrativo, di massima a ogni vertenza quanto già ancorato convenzionalmente agli affari civili e penali (cfr. art. 6 § 1 CEDU, art. 1 cpv. 1 del primo protocollo, art. 14 cpv. 1 Patto ONU II; Andreas Kley, Die Schweizerische Bundesverfassung, 2a ed., 2008, n. 4 all'art. 29a Cost.; Giovanni Biaggini, Bundesverfassung der Schweizerischen Eidgenossenschaft, 2007, n. 2 all'art. 29a Cost.; Andreas Auer/Giorgio Malinverni/Michel Hottelier, Droit constitutionnel suisse, vol. II, 2a ed., 2006, n. 1202). I Cantoni sono quindi tenuti ad investire per lo meno un'autorità giudiziaria dell'esame libero dei fatti e dell'applicazione d'ufficio del diritto determinante, senza che essa debba valutarne necessariamente l'adeguatezza (sentenza della Corte europea dei diritti dell'uomo Albert e Le Compte c/. Belgio del 10 febbraio 2003, serie A n. 58, § 29; sentenza 2P.51/2006 del 20 marzo 2006 consid. 3.2; Hansjörg Seiler, Bundesgerichtsgesetz, 2007, n. 11 all'art. 110 LTF; Ehrenzeller, op. cit., n. 21 all'art. 110 LTF). Se il diritto cantonale prevede due istanze giudiziarie è sufficiente che il tribunale di primo grado rispetti queste esigenze, il tribunale superiore cantonale potendo anche disporre solo di una cognizione analoga a quella del Tribunale federale (art. 111 LTF; Messaggio concernente la revisione totale dell'organizzazione giudiziaria del 28 febbraio 2001, FF 2001 pag. 3906; sentenza 2D_148/2008 del 17 aprile 2009 consid. 3.3).
6.2.2 Il libero esame dei fatti ai sensi dell'art. 110 LTF permette al giudice di valutare le prove senza alcuna restrizione, al fine di accertare l'esistenza o l'inesistenza di un fatto. Esso implica, in particolare, la possibilità di presentare fatti nuovi e nuovi mezzi di prova. Ciò significa altresì che il giudice deve riprendere dall'inizio l'apprezzamento delle prove e determinare lo stato di fatto sul quale si fonda, senza essere vincolato dalla decisione deferitagli. È pertanto esclusa una limitazione all'arbitrio del suo potere cognitivo (cfr. DTF 131 II 271 consid. 11.7.1 pag. 303 e sentenze ivi citate). Per contro, l'applicazione del diritto d'ufficio significa che il giudice stabilisce da solo le regole di diritto applicabili e decide in quale modo interpretarle, a prescindere dall'argomentazione giuridica delle parti e da quella dell'autorità precedente (DTF 135 II 369 consid. 3.3 pag. 374; Corboz, op. cit., n. 15 segg. all'art. 110 LTF; Ehrenzeller, op. cit., n. 17 segg. all'art. 110 LTF).
6.2.3 Il libero esame dei fatti e del diritto ai sensi dell'art. 110 LTF si distingue dall'esame dell'opportunità. Nel primo caso, il giudice è incaricato di rivedere l'accertamento dei fatti e di stabilire se l'atto querelato è conforme al diritto; nel secondo caso, egli può di principio optare per un'altra soluzione equivalente se la giudica preferibile, anche qualora la soluzione sottopostagli sia conforme al diritto. Ne segue che l'esame dell'opportunità riserva di regola una latitudine di giudizio più ampia rispetto al libero esame dei fatti e del diritto. Il divieto di apprezzare l'opportunità della decisione impugnata sancito dal diritto di procedura cantonale non impedisce quindi alla giurisdizione cantonale adita di esaminare liberamente i fatti e di applicare d'ufficio il diritto ai sensi dell'art. 110 LTF (sentenza 1C_417/2009 del 21 gennaio 2010 consid. 2.3; sul tutto cfr. anche sentenza 8C_770/2009 del 25 maggio 2010 consid. 4.2-4.4).
6.2.4 Per l'art. 61 cpv. 1 LPAmm il ricorso al Tribunale cantonale amministrativo è proponibile contro la violazione del diritto. Secondo il capoverso 2 costituisce in particolare violazione del diritto:
- l'errata o la mancata applicazione di una norma stabilita dalla legge o risultante implicitamente da essa;
- l'apprezzamento giuridico erroneo di un fatto;
- l'eccesso e l'abuso di potere;
- la violazione di una norma essenziale di procedura.
Per l'art. 62 LPAmm con il ricorso può essere impugnato ogni accertamento inesatto o incompleto dei fatti rilevanti per la decisione.
6.2.5 Come correttamente indicato dal ricorrente, il Tribunale cantonale amministrativo non può rivedere l'opportunità, mentre deve riesaminare fatti e diritto ai sensi dell'art. 110 LTF e delle disposizioni cantonali succitate.
Dal giudizio impugnato emerge che la Corte cantonale ha rispettato le regole menzionate, ben riconoscendo i limiti postigli dall'art. 61 e 62 LPAmm in relazione al controllo dell'apprezzamento, che la legge riserva all'autorità di nomina per quanto riguarda la valutazione dei partecipanti alla gara, precisando di doversi limitare a verificare che non vi sia stata una violazione del diritto.
In effetti il Tribunale amministrativo si è limitato ad esaminare l'apprezzamento dei fatti proposto dall'UIM e dal Consiglio di Stato, ritenendolo corretto e, meglio, conforme alle disposizioni cantonali in vigore, in particolare all'art. 8 cpv. 2 LORD. In tali circostanze non si può senz'altro affermare che la Corte cantonale abbia esaminato l'adeguatezza, sostituendosi all'autorità amministrativa, commettendo in tal modo un diniego di giustizia formale (sentenza 8C_802/2009 del 28 luglio 2010 consid. 4).
Pure quest'ultima censura deve quindi essere respinta siccome infondata.
7. Alla luce delle considerazioni che precedono il ricorso in materia di diritto pubblico si rivela inammissibile, mentre il ricorso sussidiario in materia costituzionale deve essere respinto nella misura della sua ricevibilità.
8. Le spese seguono l'esito della causa e vanno poste a carico del ricorrente (art. 66 cpv. 1 e 4 LTF). Non si assegnano ripetibili ad autorità vincenti intervenute in causa nell'esercizio delle loro attribuzioni ufficiali (art. 68 cpv. 3 LTF).
Per questi motivi, il Tribunale federale pronuncia:
1. Il ricorso in materia di diritto pubblico è inammissibile.
2. Nella misura in cui è ammissibile, il ricorso sussidiario in materia costituzionale è respinto.
3. Le spese giudiziarie di complessivi fr. 2'000.- sono poste a carico del ricorrente.
4. Comunicazione alle parti e al Tribunale amministrativo del Cantone Ticino.