Fatti:
A. D._, A._, B._ e C._ sono proprietari dei fondi contigui part. n. 1886, 1968 e 1836 di Mendrisio, ubicati nel comprensorio delimitato a nord da via Praella, ad ovest da via Beroldingen, a sud dalla zona di attrezzature ed edifici pubblici (AEP) che ospita la scuola dell'infanzia (part. n. 1019) e ad est dal piano particolareggiato Piazzale alla Valle (PP1), nel cui perimetro era compresa anche la particella n. 1836.
B. Nella seduta del 23 novembre 1998, il Consiglio comunale di Mendrisio ha adottato la revisione generale del piano regolatore, che prevedeva l'attribuzione dei fondi part. n. 1886 e 1968 alla zona residenziale intensiva R5 del comparto speciale "d", con un indice di sfruttamento dell'1,1. I proprietari sono insorti al Consiglio di Stato, chiedendo in particolare lo stralcio del fondo part. n. 1836 dal perimetro del PP1 e la concessione per i fondi part. n. 1886 e 1968 di un indice di sfruttamento di 1,32, con un abbuono del 20 % in caso di edificazione secondo un piano di quartiere. Hanno inoltre chiesto il riconoscimento delle condizioni più favorevoli applicabili alle zone contigue AEP e residenziale intensiva speciale R5d. Essi hanno segnatamente lamentato il mancato rispetto di un accordo concluso nel 1994 con il Municipio di Mendrisio nell'ambito di una procedura ricorsuale dinanzi all'allora Tribunale della pianificazione del territorio contro l'approvazione del PP1.
C. Con risoluzione del 2 novembre 2000, il Consiglio di Stato del Cantone Ticino ha approvato la revisione generale del piano regolatore, accogliendo contestualmente il gravame dei ricorrenti limitatamente alla questione dello stralcio della particella n. 1836 dal PP1. Il Governo ha imposto al Comune di elaborare una variante volta ad includere questo fondo nel comparto speciale "d". I proprietari hanno impugnato la risoluzione governativa dinanzi al Tribunale della pianificazione del territorio con un ricorso dell'11 dicembre 2000, chiedendo per i fondi part. n. 1886 e 1968 la fissazione di un indice di sfruttamento di 1,32, incrementabile del 20 %, oltre alle altre condizioni concesse al fondo part. n. 1019 sito in zona AEP. Il 25 giugno 2001 si è tenuto il sopralluogo indetto dal Presidente della Corte adita, durante il quale il Municipio ha proposto, in applicazione dell'accordo del 1994, di fissare l'indice di sfruttamento a 1,2 e di inserire la particella n. 1836 nella zona R5, mantenendo il fondo edificabile ma non computabile al fine degli indici. L'Esecutivo comunale si è impegnato ad inviare al Tribunale una scheda grafica ed a sostenere un incremento del 10 % dell'indice di 1,2, a cui si sarebbe aggiunto l'abbuono del 20 % in caso di edificazione secondo un piano di quartiere. Il 25 luglio 2001 il Municipio ha inviato al Tribunale un progetto di variante in tal senso. Esprimendosi al riguardo il 10 agosto 2001, la Sezione della pianificazione urbanistica del Dipartimento del territorio ha ritenuto condivisibile la proposta municipale, ad eccezione dell'aumento all'1,3 dell'indice di sfruttamento per la zona R5d, nella quale sarebbero state inserite le particelle dei ricorrenti. I ricorrenti hanno comunicato il 23 gennaio 2006 alla Corte cantonale il loro accordo al progetto di variante.
D. Nella seduta del 24 settembre 2007, il Consiglio comunale di Mendrisio ha adottato una serie di varianti del piano regolatore, estromettendo in particolare il fondo part. n. 1836 dal perimetro del PP1 e attribuendolo a una zona residenziale intensiva. I fondi part. n. 1886 e 1968 non sono per contro stati oggetto di variante. I proprietari si sono aggravati al Consiglio di Stato, chiedendo essenzialmente per i loro fondi l'aumento dell'indice di sfruttamento all'1,3. Con risoluzione del 21 ottobre 2008 il Governo ha approvato le varianti, respingendo nel contempo il gravame dei ricorrenti. Ha in particolare approvato l'inserimento del fondo part. n. 1836 nella zona residenziale intensiva R5, disciplinata dall'art. 32 delle norme di attuazione del piano regolatore (NAPR), con la precisazione che il fondo può essere edificato, ma che la sua superficie non è computabile nel calcolo delle possibilità edificatorie.
E. Con un ricorso del 26 novembre 2008, i proprietari hanno adito il Tribunale cantonale amministrativo nel quale, nel frattempo, con effetto al 14 luglio 2006, era stato integrato il Tribunale della pianificazione del territorio. Dopo avere esperito un sopralluogo, con sentenza dell'11 novembre 2010 la Corte cantonale ha dichiarato irricevibile il ricorso del 26 novembre 2008 ed ha respinto quello dell'11 dicembre 2000. La Corte cantonale ha ritenuto che i ricorrenti non potessero validamente appellarsi al principio della buona fede per chiedere l'aumento dell'indice di sfruttamento per i loro fondi sulla base dell'accordo concluso con il Municipio. Solo il Consiglio comunale e il Consiglio di Stato erano infatti competenti per l'adozione, rispettivamente l'approvazione di una modifica del piano regolatore. I giudici cantonali hanno poi negato una disparità di trattamento riconducibile ai parametri edificatori più favorevoli applicabili alle confinanti zone edificabili R5d e AEP.
F. D._, A._, B._ e C._ impugnano questo giudizio con un ricorso sussidiario in materia costituzionale al Tribunale federale, chiedendo di annullarlo. I ricorrenti fanno valere la violazione del principio della buona fede, del diritto di essere sentiti, del principio della parità di trattamento e del divieto dell'arbitrio.
G. La Corte cantonale si riconferma nella sua sentenza. Il Consiglio di Stato condivide il giudizio impugnato, precisando che, contrariamente a quanto sostenuto dai ricorrenti, con lo scritto del 10 agosto 2001 la Sezione della pianificazione urbanistica non aveva condiviso l'aumento dell'indice di sfruttamento all'1,3. Il Comune di Mendrisio chiede di respingere il gravame nella misura della sua ammissibilità, precisando che starebbe valutando la possibilità di allestire una nuova variante di piano regolatore sostanzialmente corrispondente a quella prospettata nel 2001 dinanzi al Tribunale della pianificazione del territorio, ma rispettosa dei limiti stabiliti dall'autorità cantonale.
Diritto:
1. 1.1 Il Tribunale federale esamina d'ufficio e con piena cognizione la sua competenza (cfr. art. 29 cpv. 1 LTF) e l'ammissibilità dei ricorsi (DTF 136 II 497 consid. 3 e rinvii).
1.2 Giusta l'art. 82 lett. a LTF, il Tribunale federale giudica i ricorsi contro le decisioni pronunciate in cause di diritto pubblico. Il rimedio del ricorso in materia di diritto pubblico è dato anche nel campo della pianificazione del territorio, come è qui il caso. La LTF non prevede infatti un'eccezione al riguardo e l'art. 34 cpv. 1 LPT stabilisce che i rimedi giuridici proponibili dinanzi alle autorità federali sono retti dalle disposizioni generali sull'amministrazione della giustizia federale (cfr. DTF 133 II 353 consid. 2 e 3.3, 409 consid. 1.1).
I ricorrenti hanno quindi presentato a torto un ricorso sussidiario in materia costituzionale. Tuttavia, la designazione erronea del gravame non pregiudica i loro interessi, se lo stesso adempie le condizioni di ricevibilità del ricorso in materia di diritto pubblico, rimedio in concreto effettivamente esperibile (DTF 133 II 396 consid. 3.1). Ora, il gravame adempie i requisiti degli art. 82 lett. a, 86 cpv. 1 lett. d, 90 LTF e 100 cpv. 1 in relazione dell'art. 46 cpv. 1 lett. c LTF ed è quindi di massima ammissibile quale ricorso in materia di diritto pubblico. La legittimazione dei ricorrenti giusta l'art. 89 cpv. 1 LTF, proprietari dei fondi interessati, è pacifica.
2. 2.1 I ricorrenti lamentano la violazione del principio della buona fede. Asseriscono che, come rettamente rilevato dalla Corte cantonale, nel 1994 il Municipio aveva in particolare dichiarato di impegnarsi ad adottare e a sostenere "la decisione davanti alle autorità cantonali di aumento del 10 % dell'indice di sfruttamento esistente dell'1,2 nell'ambito della decisione generale sugli indici", oltre a un ulteriore abbuono del 20 % per una possibile edificazione secondo un piano di quartiere. Fondandosi su tale impegno essi avrebbero in seguito ritirato un loro ricorso pendente dinanzi al Tribunale della pianificazione del territorio contro il piano particolareggiato PP1. L'attuale inserimento dei fondi part. n. 1886 e 1968 nella zona residenziale intensiva R5, in cui è previsto un indice di sfruttamento massimo dell'1,1, stabilito con la revisione del piano regolatore, disattenderebbe quindi l'accordo del 1994 e violerebbe l'invocato principio.
2.2 L'art. 9 Cost. istituisce un diritto fondamentale del cittadino ad essere trattato secondo il principio della buona fede da parte degli organi dello Stato. In materia di diritto amministrativo, tale principio tutela l'amministrato nei confronti dell'autorità, quando, assolte determinate condizioni, il medesimo abbia agito conformemente alle istruzioni e alle dichiarazioni di quest'ultima. Il principio tutela in particolare la fiducia riposta in un'informazione ricevuta dall'autorità o in suo determinato comportamento suscettibile di destare un'aspettativa legittima, quando l'autorità sia intervenuta in una situazione concreta riguardo a determinate persone, quand'essa era competente a rilasciare l'informazione o il cittadino poteva ritenerla competente sulla base di fondati motivi, quando affidandosi all'esattezza dell'informazione egli abbia preso delle disposizioni non reversibili senza subire un pregiudizio e quando non siano intervenuti mutamenti legislativi posteriori al rilascio dell'informazione stessa (DTF 131 II 627 consid. 6.1; 130 I 26 consid. 8.1 pag. 60 e rispettivi rinvii).
2.3 La Corte cantonale ha rettamente rilevato che la competenza per adottare una modifica del piano regolatore spettava al Consiglio comunale e quella per approvarlo al Consiglio di Stato (cfr. art. 34 e 37 della legge cantonale di applicazione della LPT, del 23 maggio 1990). A ragione ha quindi negato che l'esposto impegno del Municipio fosse suscettibile di fare nascere nei ricorrenti un'aspettativa tutelabile sotto il profilo giuridico (cfr. DTF 102 Ia 331 consid. 3). I ricorrenti invero riconoscono che il Municipio non poteva garantire loro l'adozione finale dei provvedimenti pianificatori concordati, ma gli rimproverano di non avere sottoposto alle autorità competenti un progetto di variante conforme all'accordo, che sarebbe sicuramente stato approvato. Sta di fatto, che non rientrava nelle competenze del Municipio rilasciare assicurazioni vincolanti sul futuro aumento dei parametri edificatori dei fondi e che i ricorrenti, patrocinati da un avvocato, in buona fede non potevano farvi affidamento. D'altra parte, è quantomeno dubbio che l'aumento dell'indice di sfruttamento prospettato dall'esecutivo comunale nell'ambito della convenzione in occasione di una futura modifica del piano regolatore sarebbe stato approvato senza alcuna obiezione dalle autorità competenti. Ciò, ove si consideri che nel preavviso del 10 agosto 2001 l'autorità cantonale aveva ritenuto ingiustificato l'incremento dell'indice di sfruttamento all'1,3 per la zona R5d. La censura è quindi infondata.
In tali circostanze, ritenuto che il Municipio non era competente a rilasciare ai ricorrenti assicurazioni vincolanti in tal senso, pure le critiche di denegata giustizia e di violazione del divieto dell'arbitrio, per il fatto che l'esecutivo comunale non ha ancora dato seguito all'accordo concluso nel 1994, risultano infondate e non devono essere esaminate oltre.
3. 3.1 I ricorrenti fanno valere una violazione del principio dell'uguaglianza giuridica, lamentando il mancato inserimento dei loro fondi nella zona residenziale intensiva speciale R5d in cui è previsto un indice di sfruttamento dell'1,2. Rilevano che tale parametro pianificatorio era già vigente in passato ed era stato concesso ad altri proprietari. Esso era inoltre stato loro assicurato mediante il citato accordo del 1994 e rappresenterebbe un incremento minimo considerata la superficie complessiva dei fondi interessati. Sostengono di essere gli unici penalizzati dalla nuova normativa pianificatoria e richiamano gli indici di sfruttamento maggiori di cui beneficerebbero i comparti vicini e il fatto che la loro proprietà sarebbe anche attraversata da un passaggio pubblico a favore del vicino centro commerciale.
3.2 Premesso che, come rettamente esposto dalla Corte cantonale, il principio dell'uguaglianza giuridica ha una portata necessariamente limitata nell'ambito di provvedimenti pianificatori e si identifica in sostanza con il divieto dell'arbitrio (cfr. DTF 115 Ia 384 consid. 5b), i ricorrenti non si confrontano con il considerando n. 5 del giudizio impugnato. La Corte cantonale ha infatti puntualmente spiegato per quali motivi l'attribuzione dei fondi part. n. 1886 e 1968 alla zona R5 era fondata su criteri pianificatori oggettivi e ragionevoli e perché la situazione dei comparti confinanti R5d e AEP presentava caratteristiche diverse. Le critiche generiche sollevate dai ricorrenti, che non si confrontano con le argomentazioni addotte dai giudici cantonali, disattendono le esigenze di motivazione degli art. 42 cpv. 2 e 106 cpv. 2 LTF e sono pertanto inammissibili (cfr., sulle esigenze di motivazione, DTF 134 II 244 consid. 2 e rinvii).
4. Ne segue che il ricorso deve essere respinto nella misura della sua ammissibilità. Le spese giudiziarie seguono la soccombenza e sono quindi poste a carico dei ricorrenti (art. 66 cpv. 1 LTF). Non possono essere attribuite ripetibili al Comune di Mendrisio (art. 68 cpv. 3 LTF; DTF 134 II 117 consid. 7).
Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso è respinto.
2. Le spese giudiziarie di fr. 2'000.-- sono poste a carico dei ricorrenti.
3. Comunicazione ai patrocinatori delle parti, al Consiglio di Stato e al Tribunale amministrativo del Cantone Ticino.