Fatti:
A. Il 23 novembre 1998 il Consiglio comunale di Mendrisio ha adottato la revisione del piano regolatore, che prevedeva tra l'altro la facoltà di allestire piani di quartiere alle condizioni disciplinate dall'art. 15 cpv. 2 delle sue norme di attuazione (NAPR). Con risoluzione del 2 novembre 2000 il Consiglio di Stato del Cantone Ticino ha approvato la revisione, come nelle considerazioni di merito e nella decisione dei ricorsi. Nei considerandi della decisione, ha ordinato al Comune di precisare, secondo quanto esposto nella decisione stessa, l'art. 15 cpv. 2 NAPR mediante una variante. Quest'ultima è in seguito stata elaborata dal Comune e sottoposta nel giugno del 2003 al Dipartimento del territorio per l'esame preliminare.
B. Il 4 aprile 2006 la comunione ereditaria B._, quale proprietaria, e la A._AG, quale istante, hanno presentato due domande di costruzione per un piano di quartiere concernente i fondi part. n. 602, 603 e 604 di Mendrisio e per la relativa edificazione con due blocchi di condomini. Numerosi vicini, segnatamente le parti qui resistenti, si sono opposti alla domanda. Con decisioni del 2 ottobre 2006, il Municipio, acquisito il preavviso favorevole dell'autorità cantonale, ha rilasciato le licenze edilizie con cui ha approvato sia il piano di quartiere sia la sua realizzazione, respingendo nel contempo le opposizioni. Gli opponenti hanno allora adito il Consiglio di Stato, che, con risoluzione del 6 marzo 2007, ha accolto i gravami e annullato le licenze edilizie. Il Governo ha essenzialmente rilevato che l'art. 15 cpv. 2 NAPR non era in vigore siccome non era stato approvato, la variante del giugno 2003 essendo peraltro stata oggetto unicamente dell'esame preliminare. Con risoluzione del 22 marzo 2007, in accoglimento di un'istanza di revisione della A._AG e della comunione ereditaria B._, il Governo ha rilevato che la mancata indicazione della comunione ereditaria quale parte soccombente nella decisione del 6 marzo 2007 costituiva un'inavvertenza, correggendo quindi il vizio.
C. Con sentenza del 9 luglio 2007 il Tribunale cantonale amministrativo ha respinto i ricorsi presentati dalla comunione ereditaria B._ e dalla A._AG, nonché dal Comune di Mendrisio, contro le risoluzioni governative. La Corte cantonale ha ritenuto che non sussistesse alcun dubbio circa l'inapplicabilità dell'art. 15 cpv. 2 NAPR per la mancata approvazione da parte del Consiglio di Stato.
D. La comunione ereditaria B._ e la A._AG impugnano con un ricorso in materia di diritto pubblico e un ricorso sussidiario in materia costituzionale al Tribunale federale questo giudizio, chiedendo di annullarlo. Fanno valere la violazione del diritto di essere sentiti, del divieto dell'arbitrio, della garanzia della proprietà e della libertà economica.
E. La Corte cantonale si conferma nella sua sentenza, mentre il Consiglio di Stato si rimette al giudizio del Tribunale federale. Pure il Comune di Mendrisio si rimette al giudizio di questa Corte, ribadendo nondimeno di ritenere l'art. 15 cpv. 2 NAPR approvato. Gli opponenti postulano sostanzialmente la reiezione del gravame.

Diritto:
1. Il Tribunale federale esamina d'ufficio e con piena cognizione l'ammissibilità dei gravami che gli vengono sottoposti (<ref-ruling> consid. 2, 489 consid. 3).
1.1 Con il giudizio impugnato, il Tribunale cantonale amministrativo ha in sostanza confermato il diniego delle licenze edilizie pronunciato dal Governo. Giusta l'<ref-law> il Tribunale federale giudica i ricorsi contro le decisioni pronunciate in cause di diritto pubblico. Questo rimedio è dato anche nel campo del diritto edilizio e della pianificazione del territorio, come è qui il caso. La LTF non prevede infatti un'eccezione al riguardo e l'art. 34 cpv. 1 LPT, nella versione in vigore dal 1° gennaio 2007, stabilisce che i rimedi giuridici proponibili dinanzi alle autorità federali sono retti dalle disposizioni generali sull'amministrazione della giustizia federale (cfr. <ref-ruling> consid. 2 e 3.3, 409 consid. 1.1; sentenza 1C_153/2007 del 6 dicembre 2007, consid. 1.1 e 1.2).
1.2 I ricorrenti hanno partecipato al procedimento dinanzi all'autorità inferiore (<ref-law>). Quali proprietari dei fondi dedotti in edificazione ed istanti nella procedura edilizia, essi sono direttamente toccati dalla decisione impugnata, che nega loro la possibilità di realizzare il progetto edilizio, ed hanno quindi un interesse degno di protezione al suo annullamento o alla sua modifica (art. 89 cpv. 1 lett. b e c LTF). Il ricorso in materia di diritto pubblico (<ref-law>), tempestivo (art. 100 cpv. 1 in relazione con l'<ref-law>) e diretto contro una decisione finale (<ref-law>), resa da un'autorità cantonale di ultima istanza (art. 86 cpv. 1 lett. d LTF), è quindi di massima ammissibile. Il ricorso sussidiario in materia costituzionale (art. 113 segg. LTF), semplicemente indicato dai ricorrenti nel titolo del gravame, è di conseguenza inammissibile.
1.3 Quando, come in concreto, è invocata la violazione di diritti costituzionali, a norma dell'<ref-law> il Tribunale federale esamina le censure soltanto se siano state esplicitamente sollevate e motivate in modo chiaro e preciso, conformemente alla prassi in vigore in materia di ricorso di diritto pubblico (cfr. <ref-ruling> consid. 1.4.2 e rinvii, 133 III 393 consid. 6). Laddove i ricorrenti accennano semplicemente a una pretesa violazione della garanzia della proprietà e della libertà economica senza spiegare per quali ragioni e in che misura tali garanzie sarebbero state disattese dalla Corte cantonale, il gravame è inammissibile per carenza di motivazione. Questa conclusione si impone anche quando essi invocano genericamente il divieto dell'arbitrio senza sostanziare perché il giudizio impugnato sarebbe manifestamente insostenibile, in contraddizione manifesta con una norma o un principio giuridico indiscusso o chiaramente lesivo del sentimento di giustizia e dell'equità (cfr., sul divieto dell'arbitrio, <ref-ruling> consid. 2, 129 I 8 consid. 2.1, 128 I 273 consid. 2.1 e rinvii).
2. 2.1 I ricorrenti lamentano una violazione del diritto di essere sentito, poiché la Corte cantonale avrebbe motivato soltanto brevemente il suo giudizio, senza confrontarsi con tutti gli argomenti sollevati riguardo alla pretesa validità dell'art. 15 cpv. 2 NAPR.
2.2 Dal diritto di essere sentito, sancito dall'<ref-law>, la giurisprudenza ha dedotto, tra l'altro, il diritto dell'interessato di ottenere una decisione motivata. Questa norma non pone esigenze troppo severe all'obbligo di motivazione: l'autorità giudicante è tenuta a esprimersi unicamente sulle circostanze significative, atte a influire in qualche maniera sul giudizio di merito, e non su ogni asserzione delle parti. La garanzia ha essenzialmente lo scopo di permettere, da un lato, agli interessati di afferrare le ragioni che stanno alla base della decisione e di impugnarla con cognizione di causa e, dall'altro, all'autorità di ricorso di esaminare la fondatezza della decisione medesima (<ref-ruling> consid. 3.2, 126 I 97 consid. 2b, 15 consid. 2a/aa in fine).
2.3 La criticata decisione adempie chiaramente queste esigenze. I giudici cantonali si sono confrontati con il contenuto della risoluzione governativa del 2 novembre 2000 ed hanno spiegato per quali ragioni la disposizione comunale litigiosa non poteva essere ritenuta approvata. Essi hanno dato atto che il diniego dell'approvazione non era invero stato espresso in modo esplicito dal Consiglio di Stato, che si era limitato a rinviare gli atti al Comune affinché elaborasse una variante. Hanno tuttavia parimenti addotto perché nella fattispecie non poteva essere attribuita una rilevanza decisiva a questa circostanza. Il fatto che la precedente istanza non abbia formalmente ripreso ogni singola argomentazione ricorsuale, respingendola esplicitamente, non è determinante. Sotto il profilo del diritto di essere sentito è infatti determinante ch'essa si sia pronunciata sui punti rilevanti per il giudizio, respingendo implicitamente le censure manifestamente infondate sollevate dai ricorrenti e consentendo loro, per finire, di afferrare la portata della sentenza e di impugnarla in questa sede con cognizione di causa.
3. 3.1 I ricorrenti reputano violato il divieto dell'arbitrio, poiché la Corte cantonale, pur riconoscendo che il rifiuto di approvare l'art. 15 cpv. 2 NAPR non era stato formulato in modo esplicito dal Governo, non si sarebbe addentrata nelle loro argomentazioni ricorsuali, approfondendo ulteriormente la questione.
3.2 Come visto, la censura di arbitrio è inammissibile per carenza di motivazione e, così come formulata, si confonde con quella, infondata, di violazione del diritto di essere sentito. È comunque in modo tutt'altro che arbitrario che la Corte cantonale, esaminati i considerandi della risoluzione governativa del 2 novembre 2000 e valutata la portata della norma litigiosa e delle precisazioni imposte al Comune riguardo alla sua formulazione, ne ha confermato la mancata approvazione e la conseguente inapplicabilità. D'altra parte, il rinvio degli atti disposto dal Consiglio di Stato con l'esplicito ordine al Comune di precisare l'art. 15 cpv. 2 NAPR mediante una variante, implicava di principio la ripetizione della procedura di approvazione ed escludeva quindi l'immediata entrata in vigore della disposizione (cfr. art. 37 della legge cantonale di applicazione della LPT, del 23 maggio 1990).
4. 4.1 Richiamando il principio della buona fede, i ricorrenti chiedono di essere tutelati nella fiducia che avrebbero riposto nell'avvenuta approvazione della norma comunale. Sostengono che il Governo sarebbe incorso in un comportamento contraddittorio, opponendo loro la mancata approvazione della disposizione solamente in sede di ricorso contro le licenze edilizie. Sottolineano che pure il Comune riteneva valido l'art. 15 cpv. 2 NAPR e che, preavvisando favorevolmente le domande di costruzione, anche il Dipartimento del territorio ha rafforzato la loro convinzione che la norma fosse stata approvata.
4.2 Il principio della buona fede, sancito dall'<ref-law>, tutela innanzitutto la fiducia riposta dal cittadino in un'assicurazione ricevuta dall'autorità nell'ambito di una situazione concreta (<ref-ruling> consid. 6.1 pag. 636, 130 I 26 consid. 8.1 pag. 60 e rispettivi rinvii). I ricorrenti non invocano la tutela dell'affidamento sulla base di assicurazioni rilasciate loro dall'autorità, ma lamentano essenzialmente un preteso comportamento contraddittorio del Consiglio di Stato. Annullando le licenze edilizie rilasciate dal Municipio, il Consiglio di Stato ha tuttavia semplicemente rilevato la mancata approvazione della disposizione pianificatoria sulla scorta della sua precedente risoluzione del 2 novembre 2000. Il Governo non è quindi incorso in alcuna contraddizione, ma ha sostanzialmente ribadito, nel caso specifico, l'inapplicabilità della norma. Per quanto ammissibile, anche questa censura è pertanto infondata.
5. Ne segue che il ricorso in materia di diritto pubblico, nella misura della sua ammissibilità, deve essere respinto, mentre il ricorso sussidiario in materia costituzionale deve essere dichiarato inammissibile. Le spese giudiziarie seguono la soccombenza e sono quindi poste a carico dei ricorrenti (<ref-law>), che rifonderanno ai resistenti patrocinati da un legale un'equa indennità per ripetibili della sede federale (<ref-law>).

Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso in materia di diritto pubblico è respinto.
2. Il ricorso sussidiario in materia costituzionale è inammissibile.
3. Le spese giudiziarie di fr. 3'000.-- sono poste a carico dei ricorrenti in solido. Essi rifonderanno in solido ai resistenti D._SA e litisconsorti un'indennità complessiva di fr. 2'000.-- ed al resistente C._ un'indennità di fr. 2'000.-- a titolo di ripetibili della sede federale.
4. Comunicazione alle parti, rispettivamente ai loro patrocinatori, al Municipio di Mendrisio, al Consiglio di Stato e al Tribunale amministrativo del Cantone Ticino.