Fatti:
A. Il 21 agosto 2007 la Divisione delle costruzioni del Cantone Ticino ha indetto un pubblico concorso per assegnare il mandato di progettazione concernente le prestazioni da ingegnere civile, consulente del traffico e consulente ambientale nell'ambito della sistemazione viaria del nuovo quartiere di Cornaredo, nei comuni di Porza, Canobbio e Lugano, a seguito della realizzazione della galleria Vedeggio-Cassarate. Il bando stabiliva che la scelta della migliore offerta sarebbe avvenuta in base ai criteri del prezzo (50 %), dell'attendibilità del prezzo (15 %), della qualifica degli offerenti (15 %) e dell'analisi del mandato (20 %). La documentazione di gara imponeva tra l'altro ai concorrenti di elencare il personale previsto per il progetto, indicandone le generalità, la formazione, il settore d'esperienza e la funzione prevista nell'incarico. Andava pure specificato il "% di occupazione per ogni persona, riferito alle ore totali necessarie per il progetto".
B. Entro il termine utile del 10 ottobre 2007 sono state presentate nove offerte, tra cui quella del Consorzio Z._ di fr. 1'284'391.23 (12'199 ore di lavoro ad una tariffa media di fr. 95.-- l'ora), quella del Consorzio Y._ di fr. 1'502'249.16 (13'289 ore a fr. 103.-- l'ora) e quella del Consorzio X._ di fr. 1'524'439.14 (13'100 ore a fr. 105.-- l'ora).
Con risoluzione del 12 febbraio 2008 il Consiglio di Stato ha affidato il mandato al Consorzio X._, classificatosi al primo rango con 547.2 punti, davanti al Consorzio Y._, che aveva conseguito 543.8 punti. L'offerta del Consorzio Z._ non è invece stata presa in considerazione perché aveva ottenuto una nota inferiore al 4 nel criterio dell'attendibilità del prezzo.
C. Con separati ricorsi, il Consorzio Y._ ed il Consorzio Z._ si sono aggravati dinanzi al Tribunale cantonale amministrativo. Respinta il 7 maggio 2008 l'impugnativa del Consorzio Z._, con sentenza del 9 maggio seguente la Corte cantonale ha invece accolto il secondo gravame, annullando la risoluzione governativa ed aggiudicando la commessa al Consorzio Y._. L'autorità di ricorso ha in sostanza rimproverato al Consorzio X._ di non aver indicato il grado di occupazione di ogni collaboratore per rapporto alle ore totali richieste dal progetto, ma per rapporto alla sua attività lavorativa complessiva durante il periodo di esecuzione del medesimo. Gli atti di concorso sarebbero quindi stati compilati in maniera carente, ciò che, vista l'importanza dei difetti, comportava l'esclusione dell'offerta.
D. Contro la decisione del Tribunale cantonale amministrativo, il 19 giugno 2008 gli studi di ingegneria formanti il Consorzio X._ sono insorti dinanzi al Tribunale federale mediante un ricorso in materia di diritto pubblico. Lamentano la violazione del diritto federale e di quello intercantonale, dei principi di uguaglianza e di proprozionalità nonché dei divieti d'arbitrio e di formalismo eccessivo.
Chiamati ad esprimersi, il Consorzio Y._ chiede la reiezione del gravame, il Consiglio di Stato, per il tramite della Divisione delle costruzioni, ne postula in sostanza l'accoglimento, il Tribunale cantonale amministrativo si riconferma nella propria sentenza e l'Ufficio dei lavori sussidiati e degli appalti del Dipartimento del territorio non presenta formali richieste di giudizio. Nel termine assegnato per la risposta il Consorzio Z._ non ha inoltrato alcuna presa di posizione. Alle parti private, al Tribunale amministrativo e alle istanze dipartimentali è poi stata data un'ulteriore possibilità di determinarsi, segnatamente sulla risposta del Consiglio di Stato e sul documento allegatovi.
E. Nel frattempo, con decreto del 29 luglio 2008, il presidente della II Corte di diritto pubblico ha accolto l'istanza di conferimento dell'effetto sospensivo formulata nel gravame.
Diritto:
1. Il Tribunale federale esamina d'ufficio e con pieno potere di cognizione la sua competenza (art. 29 cpv. 1 LTF), rispettivamente l'ammissibilità dei gravami che gli vengono sottoposti (DTF 134 IV 36 consid. 1; 133 II 249 consid. 1.1).
1.1 In tema di commesse pubbliche, il ricorso ordinario è ammissibile soltanto se il valore stimato della commessa raggiunge i valori soglia previsti dall'art. 83 lett. f n. 1 LTF e, cumulativamente (DTF 134 II 192 consid. 1.2; 133 II 396 consid. 2.1), se la fattispecie pone una questione di diritto d'importanza fondamentale, giusta l'art. 83 lett. f n. 2 LTF. Secondo l'art. 42 cpv. 2 seconda frase LTF, nell'allegato ricorsuale occorre spiegare perché e in che misura quest'ultimo requisito risulta adempiuto. In caso contrario, il ricorso va dichiarato inammissibile (DTF 133 II 396 consid. 2.2; sentenza 2C_287/2007 del 10 settembre 2007 consid. 1.2, in SJ 2008 I pag. 283; sentenza 2C_281/2007 del 24 settembre 2007 consid. 2.2).
I ricorrenti manifestamente non si avvedono della clausola d'eccezione dell'art. 83 lett. f LTF. In effetti l'allegato ricorsuale non menziona tale norma né indica in alcun modo perché la fattispecie porrebbe una questione di diritto d'importanza fondamentale. Inoltre l'accenno al valore della commessa è compiuto unicamente per dimostrare l'adempimento dell'art. 85 LTF, che peraltro non trova applicazione nell'ambito in discussione. Quale ricorso in materia di diritto pubblico il gravame risulta perciò inammissibile già per difetto di motivazione.
È per di più assai dubbio che la vertenza sollevi questioni giuridiche di importanza fondamentale. Litigiosa appare infatti in sostanza l'applicazione concreta di principi generali, come la conformità delle offerte alle prescrizioni di gara o il divieto di formalismo eccessivo, con cui la prassi si è già ripetutamente confrontata. Ben difficilmente si potrebbe quindi ammettere l'esistenza di problemi giuridici che per la loro portata richiedono un chiarimento da parte della più alta istanza giudiziaria e la cui soluzione può fungere da riferimento per la prassi (sentenza 2C_116/2007 del 10 ottobre 2007 consid. 4.2, riass. in AJP 2008 pag. 238; sentenza 2C_107/2007 del 22 gennaio 2008 consid. 1.1).
1.2 L'errata denominazione del rimedio giuridico non comporta comunque alcun pregiudizio per i ricorrenti nella misura in cui la loro impugnativa adempie le esigenze formali del tipo di ricorso effettivamente esperibile (DTF 133 I 300 consid. 1.2; 133 II 396 consid. 3.1). Di conseguenza, ritenuto che la sentenza impugnata è una decisione finale, che la stessa emana da un'autorità cantonale di ultima istanza e che gli insorgenti hanno un interesse giuridicamente protetto a contestare l'annullamento dell'aggiudicazione in loro favore, il gravame è di massima ammissibile quale ricorso sussidiario in materia costituzionale, ai sensi degli art. 113 segg. LTF.
Con tale ricorso può venir censurata unicamente la violazione di diritti costituzionali (art. 116 LTF). Il rispetto di tali diritti non è esaminato d'ufficio, come per le norme legislative federali (art. 106 cpv. 1 LTF; cfr. comunque DTF 133 II 249 consid. 1.4.1), ma soltanto se il ricorrente ha sollevato e motivato le relative contestazioni (art. 106 cpv. 2 LTF, a cui rinvia l'art. 117 LTF). L'atto di ricorso deve perciò soddisfare esigenze formali accresciute. Occorre infatti che le censure siano esposte in modo chiaro e circostanziato, supportate da un'esauriente motivazione giuridica e, per quanto possibile, documentate. Il Tribunale federale non entra nel merito di critiche formulate in maniera puramente appellatoria (DTF 134 II 244 consid. 2.2; 134 I 83 consid. 3.2).
Nella fattispecie non è infondato chiedersi se la memoria ricorsuale adempia pienamente questi requisiti di motivazione. In effetti essa espone certo il punto di vista degli insorgenti, ma, per quanto concerne diritti e principi costituzionali, si limita in sostanza alla loro enunciazione, senza ad esempio indicare in maniera veramente puntuale che e perché la conclusione a cui è giunta la Corte cantonale sarebbe non solo errata, bensì, per essere arbitraria, addirittura manifestamente insostenibile (sulla nozione di arbitrio cfr. DTF 134 I 140 consid. 5.4; 134 II 124 consid. 4.1; 133 I 149 consid. 3.1). Viste le considerazioni che seguono, la questione può comunque rimanere aperta.
2. 2.1 Secondo un principio generale in materia di appalti pubblici, al momento della loro apertura le offerte devono risultare complete, corrette e rispettose delle condizioni stabilite dal bando di concorso e dalla relativa documentazione di gara. Questa regola vale in particolare anche per le procedure rette, come in concreto, dal concordato intercantonale del 25 novembre 1994/15 marzo 2001 sugli appalti pubblici (CIAP; RU 2003 196; RL/TI 7.1.4.1.3). L'art. 40 cpv. 1 del relativo regolamento cantonale di applicazione, del 12 settembre 2006 (RLCPubb/CIAP; RL/TI 7.1.4.1.6), prevede del resto espressamente che l'offerta deve essere allestita in forma chiara ed univoca e compilata dal concorrente in ogni sua parte, con esposizione dei prezzi unitari, dei totali, delle eventuali analisi e di ogni altra indicazione complementare richiesta.
La conformità dell'offerta alle condizioni di gara costituisce dunque un requisito preliminare per l'aggiudicazione di qualsiasi commessa pubblica e permette in particolare al committente di raffrontare tra loro le varie proposte ricevute e di scegliere quella più vantaggiosa. Al fine di garantire la parità di trattamento tra i concorrenti, è di principio vietato correggere le offerte dopo la loro presentazione. Un'eccezione è ammessa solo se l'offerta risulta viziata da errori involontari di forma, a condizione che la possibilità di rettifica non abbia effetti discriminatori nei confronti degli altri partecipanti alla gara. Il committente ha inoltre la facoltà, durante la fase di analisi delle offerte, di chiedere spiegazioni o complementi d'informazione, prestando però attenzione anche in questi casi a non disattendere il principio della parità di trattamento tra i concorrenti (sentenza 2P.130/2005 del 21 novembre 2005 consid. 7, in RtiD 2006 I n. 32; sentenza 2P.339/2001 del 12 aprile 2002 consid. 5b, in RDAT 2002 II n. 47).
Nel caso in esame, l'obbligo di presentare un'offerta completa e conforme ai requisiti del bando era ribadito specificatamente anche dal fascicolo delle condizioni d'appalto. Al punto 6.1 questo documento avvertiva infatti che la compilazione carente o l'allestimento incompleto di uno o più atti richiesti sarebbero stati equiparati ad una mancata consegna degli stessi ed avrebbero comportato l'estromissione dell'offerta.
2.2 Come già accennato, il modulo d'offerta prescriveva ai concorrenti di elencare il "personale ingegnere civile" che prevedevano di impiegare, precisando tra l'altro la formazione, il campo di esperienza e di pratica specifico e la funzione prevista. Andava inoltre indicato il grado di occupazione. Su questo aspetto, in calce alla tabella destinata all'elenco del personale era segnalato che occorreva indicare il "% di occupazione per ogni persona, riferito alle ore totali necessarie per il progetto". Per ognuno dei 29 collaboratori, soprattutto ingegneri e disegnatori, a cui intendeva assegnare compiti nella realizzazione del mandato, il consorzio opponente ha indicato una percentuale di occupazione tra l'1 ed il 6 %, per un totale del 100 %. Il consorzio ricorrente ha invece previsto di impiegare 25 persone, per le quali ha esposto percentuali varianti tra il 5 e l'80 %, per un valore complessivo del 990 %.
2.3 Il Tribunale amministrativo ha giudicato che i ricorrenti abbiano redatto l'elenco in modo del tutto carente, fornendo dati non utilizzabili. Gli insorgenti sostengono invece di non aver commesso errori, ma di aver compilato i formulari in base ad una diversa interpretazione dell'utilità dei dati da fornire.
Sennonché non è certo arbitrario ritenere che le prescrizioni di gara non lasciavano spazio ad alcuna possibilità interpretativa. Esse indicavano infatti con precisione a quale parametro andavano rapportate le percentuali di occupazione, ovvero alle ore necessarie per l'intera esecuzione del mandato e non, come inteso dai ricorrenti, al tempo di lavoro complessivo di ogni singolo collaboratore durante l'elaborazione del progetto. D'altronde, così come rettamente compresi dal consorzio opponente, i dati richiesti forniscono informazioni significative, in quanto permettono di dedurre il tempo che ogni collaboratore dedicherebbe all'opera. Le percentuali esposte dai ricorrenti consentirebbero per contro di estrapolare i medesimi dati solo a condizione che fosse identico per tutti il periodo temporale durante il quale una determinata parte dell'attività lavorativa verrebbe consacrata al progetto. Considerato il numero di ditte consorziate e di collaboratori coinvolti e la conseguente, inevitabile diversità dei ruoli assunti nell'esecuzione del mandato, tale ipotesi è tuttavia del tutto irrealistica e difatti nemmeno sostenuta dagli insorgenti.
Come rilevato dalla Corte cantonale confutando la tesi della Divisione delle costruzioni, al dato sulle ore impiegate da ogni collaboratore non è peraltro possibile risalire applicando una formula matematica alle percentuali indicate. Tant'è vero ad esempio che secondo il metodo proposto dalla committente lo studio d'ingegneria consorziato quale consulente del traffico consacrerebbe al progetto 199.1 ore, mentre dal calcolo dettagliato del fabbisogno orario per ogni singola posizione del modulo d'offerta risulta un impegno in questo settore, da parte del consorzio ricorrente, di 1'104 ore.
Oltre a non precisare la suddivisione delle ore complessive tra le varie unità lavorative attive nel consorzio, il grado di occupazione esposto dai ricorrenti non permette nemmeno di trarre indicazioni eloquenti di altra natura. In particolare, diversamente da quanto sostenuto nel ricorso, non è dato di vedere in che modo detti valori percentuali fornirebbero al committente maggiori garanzie rispetto a quanto richiesto dal bando. Inoltre lo sbaglio commesso non costituisce un errore involontario di forma o un dato ambiguo su cui era lecito chiedere spiegazioni a posteriori. Certo, può apparire sorprendente che ben otto consorzi partecipanti su nove abbiano interpretato in modo errato la richiesta contenuta nel capitolato. Ciò non toglie tuttavia che tale richiesta risulta oggettivamente univoca. Non è quindi errato concludere che il formulario inoltrato dai ricorrenti presenta una chiara lacuna di merito e che pertanto l'offerta non è completa in ogni suo punto.
3. 3.1 Come osservato, le condizioni d'appalto indicavano espressamente che la compilazione carente del formulario d'offerta avrebbe comportato l'estromissione del concorrente dalla procedura di aggiudicazione. Questa clausola deve comunque essere applicata tenendo conto dei principi generali del diritto amministrativo. Secondo la prassi, la facoltà del committente di escludere un'offerta viziata da errori o non conforme alle prescrizioni di gara trova infatti i suoi limiti nel principio di proporzionalità e nel divieto di formalismo eccessivo. Di conseguenza, non ogni errore commesso da un concorrente nell'allestimento dell'offerta è suscettibile di cagionarne l'annullamento. Deve piuttosto trattarsi di un errore di una certa importanza, atto ad influire sull'esito della gara. La conformità delle offerte alle condizioni di gara deve in particolare essere valutata secondo criteri non eccessivamente restrittivi laddove è in gioco la realizzazione di complesse opere pubbliche, poiché in tali casi è pressoché inevitabile che si verifichino errori o imprecisioni nella compilazione delle offerte (sentenza 2P.5/2003 del 21 marzo 2003 consid. 4.3.2, in RDAT 2003 II n. 29; sentenza 2P.339/2001 del 12 aprile 2002 consid. 5c/cc, in RDAT II 2002 n. 47; sentenza 2P.4/2000 del 26 giugno 2000 consid. 3b, in ZBl 102/2001 pag. 215; sentenza 2P.176/2005 del 13 dicembre 2005 consid. 2.4).
3.2 La Corte cantonale ha considerato che il difetto è rilevante e giustifica l'esclusione in particolare perché i dati mancanti avrebbero permesso una verifica quantomeno indiretta della tariffa oraria applicata e quindi del prezzo globale. I ricorrenti rilevano invece che i criteri d'aggiudicazione non fanno in alcun modo riferimento alla percentuale di impiego dei diversi collaboratori nell'esecuzione del mandato. I formulari incriminati non avrebbero di conseguenza influito sui punteggi ottenuti e sull'esito della gara.
3.3 In realtà, come i giudici cantonali, già ci si potrebbe chiedere perché mai il committente avrebbe chiesto di precisare il grado di occupazione dei singoli collaboratori, se poi tale dato non avesse avuto alcuna rilevanza ai fini dell'aggiudicazione. Al di là di questo, va comunque considerato che, se compilati correttamente, gli elenchi del personale avrebbero chiarito sia il coinvolgimento effettivo di ogni ditta consorziata sia la ripartizione del lavoro in funzione delle qualifiche professionali delle persone attive nel progetto. Non è insostenibile affermare che questi dati avrebbero consentito una valutazione dell'attendibilità del prezzo orario medio che i concorrenti erano tenuti a precisare. Il prezzo medio dipende infatti forzatamente dalla tariffa oraria applicata a ciascuna delle differenti categorie di collaboratori e dalla suddivisione delle ore di lavoro tra le varie categorie. È però ancor meno arbitrario ritenere che i dati richiesti avrebbero potuto e dovuto avere un'incidenza ancor più diretta sui criteri di aggiudicazione. Tra questi, con un fattore di ponderazione del 15 %, figurava infatti anche il criterio delle "qualifiche degli offerenti", suddiviso a sua volta nel sottocriterio delle "qualifiche referenze responsabili progetto" (60 %) e nel sottocriterio dell'"organizzazione dell'offerente" (40 %). Le condizioni d'appalto precisavano che per giudicare quest'ultimo aspetto sarebbe stato determinante "l'organigramma con il personale messo a disposizione". Orbene non è certo fuori luogo ammettere che una valutazione oggettiva ed approfondita di tale parametro avrebbe dovuto considerare, oltre alle generalità ed alle qualifiche, anche l'impegno di tempo concretamente profuso da ogni collaboratore.
L'errore commesso dai ricorrenti verte pertanto su un aspetto rilevante dell'offerta e alla Corte cantonale non può venir rimproverato di essere incorsa in un eccesso di formalismo o di aver disatteso il principio di proporzionalità. La fattispecie è d'altronde ben differente da quella giudicata nella sentenza 2P.339/2001 (del 12 aprile 2002), a cui è fatto riferimento nel gravame. In quel caso, in una posizione del capitolato, l'offerente aveva applicato un fattore di moltiplicazione 0.9 anziché il fattore minimo 1 prescritto dalle condizioni di gara. Ne risultava così una differenza di fr. 20'000.-- su un importo complessivo di oltre fr. 69'000'000.-- che, per di più, era inferiore di circa fr. 15'000'000.-- a quello delle seconda offerta economicamente più conveniente. Si trattava quindi di un errore di calcolo scarsamente rilevante dal profilo qualitativo e del tutto trascurabile sul piano quantitativo. In concreto, l'errore è per contro più sostanziale ed è stato commesso nell'ambito di una commessa assai meno rilevante e complessa. Inoltre, considerata la minima differenza di punteggio tra l'offerta dei ricorrenti e quella del consorzio resistente, a priori l'indicazione lacunosa avrebbe anche potuto incidere in maniera decisiva sull'esito della gara.
Va infine pure considerato che le istanze cantonali godono di un certo margine di apprezzamento nel valutare la conformità delle offerte alle prescrizioni di gara e nel sancirne l'estromissione in caso di irregolarità. Per le ragioni esposte, decretando l'esclusione dei ricorrenti ed aggiudicando la commessa al consorzio classificatosi al secondo rango, il Tribunale amministrativo non ha travalicato i limiti di questo potere d'apprezzamento. La sentenza impugnata merita pertanto di essere confermata pure sotto questo profilo, senza che occorra peraltro chiedersi se anche un giudizio cantonale di tutela della delibera avrebbe potuto avere analoga sorte (cfr. sentenza 2P.176/2005 del 13 dicembre 2005 consid. 2.4).
4. 4.1 In base alle considerazioni che precedono, l'impugnativa, da trattare quale ricorso sussidiario in materia costituzionale (cfr. consid. 1.1), nella misura in cui è ammissibile, deve essere respinta.
4.2 Secondo soccombenza, le spese vanno poste a carico dei membri del consorzio ricorrente, con responsabilità solidale (art. 65 e 66 cpv. 1 e 5 LTF). Con analogo vincolo gli stessi vanno pure astretti a versare un'indennità per ripetibili ai membri del consorzio opponente (art. 68 cpv. 2 e 4 LTF). Nessuna indennità va per contro riconosciuta al Consorzio Z._ che, non essendosi aggravato in questa sede contro l'esclusione della sua offerta, non vantava più alcun interesse all'esito della procedura. Tant'è vero che tale consorzio non ha inoltrato alcuna risposta al gravame e si è manifestato solo sulla successiva sollecitazione da parte di questo Tribunale (cfr. sub D in fine), per comunicare di non avere alcuna osservazione. Non si assegnano infine ripetibili nemmeno alle autorità vincenti (art. 68 cpv. 3 LTF).
Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso, da trattare quale ricorso sussidiario in materia costituzionale, è respinto.
2. Le spese giudiziarie di fr. 5'000.-- sono poste a carico dei membri del Consorzio X._, in solido.
3. I membri del Consorzio X._ rifonderanno in solido ai membri del Consorzio Y._ un'indennità complessiva di fr. 5'000.-- a titolo di ripetibili della sede federale.
4. Comunicazione ai patrocinatori delle parti, alla Divisione delle costruzioni e all'Ufficio dei lavori sussidiati e degli appalti del Dipartimento del territorio, nonché al Consiglio di Stato e al Tribunale amministrativo del Cantone Ticino.