Fatti:
A. Il 7 marzo 2008 la Swisscom Mobile SA ha presentato al Municipio di Ascona una domanda di costruzione per ristrutturare ed aggiornare tecnologicamente l'impianto di telefonia mobile esistente sul tetto della centrale telefonica, che gestisce in un edificio appartenente a terzi, sul fondo part. n. 2399 di Ascona, situato nel comparto C della zona del nucleo tradizionale. Il progetto prevede di eliminare uno dei due supporti di antenna esistenti e di sostituire il secondo palo, alto una decina di metri, con un nuovo supporto metallico più grosso, sul quale verrebbero installate tre antenne GSM/UMTS ed un'antenna di servizio radio telepage.
I vicini A._, C._ ed D._ si sono opposti alla domanda, che i Servizi generali del Dipartimento del territorio del Cantone Ticino hanno preavvisato favorevolmente. Con decisione del 18 luglio 2008, il Municipio di Ascona ha nondimeno negato la licenza edilizia, ritenendola in contrasto con gli obiettivi di protezione del nucleo tradizionale.
B. Con decisione del 9 dicembre 2008, il Consiglio di Stato ha accolto un ricorso di Swisscom contro la risoluzione municipale e ha rinviato gli atti all'autorità comunale perché rilasciasse la licenza edilizia.
C. Gli opponenti hanno allora adito il Tribunale cantonale amministrativo, che ha respinto il loro ricorso con sentenza dell'11 settembre 2009. La Corte cantonale ha considerato infondate le censure riguardanti il mancato rispetto delle formalità della domanda di costruzione ed ha ritenuto l'impianto rispettoso dell'ordinanza sulla protezione dalle radiazioni non ionizzanti, del 23 dicembre 1999 (ORNI). Ha ammesso la sua conformità alle funzioni previste per la zona del nucleo di Ascona ed ha rilevato che, in quanto impianto particolare, l'antenna beneficiava di un supplemento di altezza commisurato alla sua funzionalità specifica. La Corte cantonale ha infine stabilito che l'impianto non era in contrasto con le disposizioni comunali di carattere non soltanto programmatico destinate alla tutela del nucleo.
D. A._, C._ e B._, successore in diritto di D._, impugnano questo giudizio con un ricorso in materia di diritto pubblico al Tribunale federale, chiedendo di annullarlo e di confermare il diniego della licenza edilizia. I ricorrenti fanno sostanzialmente valere la violazione del diritto federale e della sua forza derogatoria, delle garanzie procedurali, del divieto dell'arbitrio e del diritto cantonale e comunale.
E. La Corte cantonale si riconferma nella sua sentenza, precisando di avere messo a disposizione delle parti gli accertamenti esperiti. Il Consiglio di Stato e il Municipio di Ascona hanno comunicato di non avere osservazioni da formulare, rimettendosi al giudizio del Tribunale federale. Il Dipartimento del territorio conferma il proprio preavviso favorevole. La Swisscom postula la reiezione del gravame. Invitato ad esprimersi sul ricorso, l'Ufficio federale dell'ambiente (UFAM) ritiene il giudizio impugnato non conforme al diritto federale. Chiamati a presentare eventuali ulteriori osservazioni, il Municipio ha in seguito chiesto di accogliere il ricorso, mentre gli altri partecipanti hanno sostanzialmente ribadito le loro conclusioni.

Diritto:
1. 1.1 Presentato tempestivamente contro una decisione finale dell'ultima istanza cantonale in ambito edilizio, il ricorso in materia di diritto pubblico è di massima ammissibile sotto il profilo degli art. 82 segg. LTF. Nessuna delle eccezioni previste dall'<ref-law> è infatti realizzata e l'art. 34 cpv. 1 LPT stabilisce che i rimedi giuridici proponibili dinanzi alle autorità federali sono retti dalle disposizioni generali sull'amministrazione della giustizia federale (cfr. <ref-ruling> consid. 2, 409 consid. 1.1). I requisiti degli art. 86 cpv. 1 lett. d, 90 e 100 cpv. 1 LTF sono adempiuti.
1.2 A._ e C._ hanno partecipato al procedimento in sede cantonale e, quali proprietari di fondi confinanti o situati nelle immediate vicinanze di quello oggetto dell'intervento edilizio, sono particolarmente toccati dalla decisione impugnata ed hanno un interesse degno di protezione al suo annullamento o alla sua modifica. La loro legittimazione a ricorrere giusta l'<ref-law> non presta il fianco a critiche (cfr. <ref-ruling> consid. 1.3.3). La resistente rileva come B._ si sia limitato ad asserire di essere successore in diritto della precedente proprietaria senza minimamente dimostrarlo. Il rilievo è pertinente, ma non deve essere qui esaminato visto che la legittimazione deve comunque essere ammessa per gli altri ricorrenti.
1.3 Nell'ambito di un ricorso al Tribunale federale non possono di principio essere addotti fatti e mezzi di prova nuovi. Giusta l'<ref-law>, un'eccezione a questa regola è possibile soltanto se ne dà motivo la decisione dell'autorità inferiore. Al riguardo, spetta ai ricorrenti spiegare i motivi per cui si giustificherebbe l'inoltro di nuove prove (<ref-ruling> consid. 3).
I rapporti sulle previsioni matematiche e sui rilevamenti dell'intensità del campo elettrico, del febbraio 2009, prodotti in questa sede dai ricorrenti, sono inammissibili e non possono pertanto essere presi in considerazione. Un esame tecnico della domanda di costruzione, pubblicata dal 17 al 31 marzo 2008, poteva infatti essere allegato tempestivamente nell'ambito della procedura cantonale.
2. 2.1 I ricorrenti rimproverano alla Corte cantonale di non averli informati riguardo agli accertamenti esperiti e di avere ritenuto superflua la perizia da loro richiesta.
2.2 Premesso che al proposito i ricorrenti non fanno esplicitamente valere una violazione del diritto di essere sentito con una motivazione conforme alle esigenze degli art. 42 cpv. 2 e 106 cpv. 2 LTF (cfr., su queste esigenze, <ref-ruling> consid. 2.1 e 2.2), essi disattendono che il Presidente della Corte cantonale ha comunicato loro il 17 luglio 2009 di avere acquisito dalla Sezione per la protezione dell'aria, dell'acqua e del suolo del Dipartimento del territorio la documentazione tecnica relativa ai due impianti di telefonia mobile più vicini al fondo part. n. 2399. Ha contestualmente informato le parti che gli atti erano consultabili presso il Tribunale, assegnando loro un termine fino al 20 agosto 2009 per presentare eventuali osservazioni. Quanto alla richiesta di assumere una perizia sull'irradiazione, i ricorrenti disattendono che la Corte cantonale ha rinunciato ad assumerla sulla base di un apprezzamento anticipato della sua irrilevanza, siccome non aveva riscontrato violazioni sotto il profilo della protezione dalle radiazioni. Essi non dimostrano che questo modo di procedere sarebbe stato arbitrario.
3. 3.1 I ricorrenti ribadiscono genericamente le loro critiche concernenti le formalità della domanda di costruzione. Sostengono che la documentazione allegata alla domanda sarebbe incompleta e lamentano il fatto che solo i proprietari confinanti hanno ricevuto personalmente copia dell'avviso di pubblicazione, mentre le altre persone legittimate ad opporsi non sarebbero state sufficientemente informate: la pubblicazione all'albo comunale secondo l'art. 6 della legge edilizia cantonale, del 13 marzo 1991 (LE) sarebbe al riguardo insufficiente.
3.2 I ricorrenti non si confrontano tuttavia puntualmente con le considerazioni esposte al riguardo nel giudizio impugnato. In particolare non fanno valere l'applicazione arbitraria dell'art. 11 cpv. 1 del regolamento di applicazione della LE, del 9 dicembre 1992, che disciplina il contenuto dei progetti, né spiegano quali ulteriori atti sarebbe occorso allegare alla domanda di costruzione.
Inoltre, essi hanno potuto opporsi tempestivamente alla domanda di costruzione e non sono abilitati nell'ambito di un ricorso in materia di diritto pubblico al Tribunale federale a fare valere la tutela di interessi di terzi, potenziali opponenti che non sono intervenuti nella procedura (<ref-ruling> consid. 1.3.2). Il Tribunale federale ha comunque già avuto modo di rilevare che la pubblicazione ai sensi dell'art. 6 LE soddisfa le esigenze del diritto di opporsi a un impianto di telefonia mobile, non essendo data in quest'ambito l'azione popolare (cfr. sentenza 1P.562/2001 del 13 giugno 2002, consid. 7.2.1, in: RDAT II-2002, n. 56, pag. 195 segg., in particolare pag. 213 seg.).
4. 4.1 I ricorrenti fanno valere una violazione degli art. 3 e 11 ORNI lamentando il fatto che la domanda di costruzione, segnatamente la scheda dei dati sul sito presentata dall'istante, non tiene conto della realizzazione di un attico nell'edificio esistente sul fondo confinante part. n. 1756, autorizzato dal Municipio con licenze edilizie del 29 maggio 2007 e del 25 novembre 2008.
4.2 Secondo l'art. 11 cpv. 2 lett. c n. 2 ORNI, la scheda dei dati sul sito deve contenere indicazioni sulle radiazioni prodotte dall'impianto nei tre luoghi a utilizzazione sensibile in cui tali radiazioni registrano il valore massimo. L'<ref-law> definisce la nozione di "luoghi a utilizzazione sensibile" (LAUS), nei quali deve essere rispettato il valore limite dell'impianto (cfr. n. 65 allegato 1 ORNI). Le lett. a e b della norma si dipartono al riguardo dalla situazione edilizia esistente e dall'utilizzazione attuale dei fondi (locali situati in edifici, nei quali persone soggiornano regolarmente per un periodo prolungato, e terreni da gioco per bambini, pubblici o privati, definiti come tali nella legislazione sulla pianificazione del territorio), mentre la lett. c fa rientrare nei luoghi a utilizzazione sensibile anche i settori di parcelle non occupati da costruzioni, per i quali sono ammesse le utilizzazioni giusta le lett. a e b. I terreni inedificati ubicati nella zona edificabile, sui quali sono consentiti utilizzazioni sensibili, sono quindi trattati come se gli edifici fossero già costruiti, considerando se del caso come LAUS l'intero volume ammissibile dal profilo edilizio (cfr. raccomandazioni dell'UFAFP "Stazioni di base di telefonia mobile e WLL", n. 2.1.3, pag. 15).
Per contro, nel caso di fondi edificati solo parzialmente, che presentano delle riserve edilizie, fa di principio stato l'utilizzazione esistente al momento del rilascio della licenza edilizia per l'impianto di telefonia mobile. Le facoltà edificatorie rimanenti devono essere prese in considerazione sotto il profilo dei luoghi ad utilizzazione sensibile solo quando verranno effettivamente utilizzate, con il conseguente obbligo di eventualmente adattare o rimuovere le installazioni allo scopo di rispettare il valore limite dell'impianto. Una diversa soluzione si impone però quando un progetto di ampliamento risulta sufficientemente concreto, segnatamente quando sono già pendenti domande di costruzione. Ulteriori eccezioni possono inoltre entrare in linea di conto nel caso di particelle costruite solo in minima parte che possono essere assimilate a superfici interamente non occupate da costruzioni, oppure nel caso di edifici in rovina o di una straordinaria sottoutilizzazione delle possibilità edificatorie (<ref-ruling> consid. 2-4, in particolare consid. 4.1; sentenze 1C_154/2009 del 27 aprile 2010 consid. 5; 1C_400/2008 del 19 ottobre 2009 consid. 3.1 e rinvii).
4.3 I ricorrenti richiamano le licenze edilizie rilasciate dal Municipio di Ascona il 29 maggio 2007 e il 25 novembre 2008 per la realizzazione (rispettivamente l'estensione) di un piano attico nell'edificio esistente sul fondo confinante part. n. 1756. Queste autorizzazioni sono state prodotte dinanzi alla precedente istanza, che ha riconosciuto come esse non fossero effettivamente state prese in considerazione nella domanda di costruzione. Non ha tuttavia ritenuto determinante questa circostanza, rilevando sostanzialmente che la licenza edilizia per l'installazione delle antenne era comunque subordinata all'obbligo di adattarle o di rimuoverle in caso di superamento dei valori limite nei nuovi edifici e ritenendo che ciò bastava. A torto. La licenza edilizia per l'edificazione dell'attico sul fondo contiguo, implicante la formazione di nuovi LAUS, era già stata rilasciata al momento dell'inoltro della domanda di costruzione da parte dell'istante. Secondo l'esposta giurisprudenza, la realizzazione dell'ampliamento era quindi altamente probabile ed avrebbe dovuto essere presa in considerazione già in quella fase. Contrariamente all'opinione della resistente, il fatto che il fondo part. n. 1756 non fosse sottoutilizzato in modo straordinario non è decisivo, essendo in concreto determinante la circostanza secondo cui una licenza edilizia era stata rilasciata. L'autorizzazione non era d'altra parte scaduta e nulla permetteva di ritenere che la proprietaria non fosse intenzionata ad attuarla. Ne segue che omettendo di considerare gli ulteriori LAUS previsti sulla particella confinante la Corte cantonale ha violato il diritto federale.
Nella risposta al gravame, l'UFAM rileva che in un luogo a utilizzazione sensibile del nuovo attico l'intensità del campo elettrico raggiungerebbe effettivamente 6,95 V/m e supererebbe quindi il valore limite dell'impianto di 5 V/m previsto dal n. 64 lett. c allegato 1 ORNI. Esprimendosi al riguardo, la resistente produce in questa sede una nuova scheda dei dati sul sito del 16 marzo 2010, modificata rispetto a quella oggetto della domanda di costruzione. Premesso che si tratta di un documento preliminare e ch'esso non è stato esaminato dall'autorità specialistica, non spetta al Tribunale federale in prima istanza ovviare all'accertata lacuna della domanda di costruzione. Gli atti devono quindi essere rinviati alla Corte cantonale affinché sia eseguita una procedura edilizia tenendo conto del citato ampliamento.
4.4 Visto l'esito del gravame, non occorre vagliare le ulteriori censure sollevate dai ricorrenti. Nella sua risposta, l'UFAM rileva nondimeno che né l'istante nella scheda dei dati sul sito presentata con la domanda di costruzione, né la Corte cantonale nel suo giudizio, avrebbero determinato il perimetro del gruppo di antenne in modo conforme al n. 62 allegato 1 ORNI nella versione in vigore dal 1° settembre 2009 (cfr. RU 2009 3565). Anche questo aspetto dovrà essere nuovamente esaminato nel prosieguo della procedura, sicché la questione non deve per il momento essere qui approfondita.
5. 5.1 Ne segue che il ricorso deve essere accolto nella misura della sua ammissibilità. La sentenza impugnata deve quindi essere annullata e gli atti rinviati alla Corte cantonale affinché sia eseguita una procedura edilizia tenendo conto delle autorizzazioni a costruire rilasciate ai proprietari vicini e sia ulteriormente esaminata la conformità dell'impianto alle disposizioni dell'ORNI.
5.2 Le spese seguono la soccombenza e sono quindi poste a carico della resistente (<ref-law>), che rifonderà ai ricorrenti un'indennità per ripetibili della sede federale (<ref-law>).

Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso è accolto e la decisione impugnata è annullata.
2. Le spese giudiziarie di fr. 2'000.-- sono poste a carico della resistente, che rifonderà ai ricorrenti un'indennità complessiva di fr. 2'000.-- a titolo di ripetibili della sede federale.
3. Comunicazione ai patrocinatori delle parti, al Municipio di Ascona, ai Servizi generali del Dipartimento del territorio, al Consiglio di Stato, al Tribunale amministrativo del Cantone Ticino e all'Ufficio federale dell'ambiente.