Fatti:
A. Nell'ambito della revisione del piano regolatore di Vico Morcote, con decisione del 24 novembre 2005 la Sezione forestale del Dipartimento del territorio ha determinato l'accertamento generale del limite del bosco a confine con la zona edificabile. Ha in particolare stabilito che il fondo part. xxx, di 693 m2 e di proprietà del Comune di Vico Morcote, nonché quello contiguo part. yyy, di 746 m2 e di proprietà di A._, erano interamente di natura forestale.
Le particelle sono situate sulla riva del lago Ceresio, a valle della strada cantonale che lo costeggia, e confinano a nord ed a sud con la zona edificabile, già edificata, del piano regolatore comunale. Vi si trovano attualmente piante indigene e, in misura prevalente, esotiche, manufatti quali vialetti, muri e terrazzamenti, nonché alcune infrastrutture balneari dismesse di un complesso alberghiero risalente ai primi anni settanta.
B. Sia il Comune di Vico Morcote sia A._ hanno impugnato la decisione di accertamento del carattere forestale dinanzi al Consiglio di Stato del Cantone Ticino, che, con risoluzioni del 16 ottobre 2007, ha respinto i gravami e confermato la decisione dell'autorità forestale.
C. Con sentenza del 26 agosto 2011, il Tribunale cantonale amministrativo, dopo avere esperito un sopralluogo, ha respinto in quanto ammissibili i ricorsi presentati dai due proprietari contro le risoluzioni governative. La Corte cantonale ha confermato l'accertamento dell'autorità forestale rilevando essenzialmente che la preesistenza del bosco risultava chiaramente dalle fotografie aeree agli atti e che non risultavano essere state rilasciate autorizzazioni di dissodamento.
D. Il Comune di Vico Morcote e A._ impugnano questa sentenza con un ricorso in materia di diritto pubblico al Tribunale federale, chiedendo in via principale di annullarla e di estromettere le loro particelle dall'area boschiva, correggendo in tal senso il limite del bosco. In via subordinata, chiedono di rinviare gli atti alla Corte cantonale per un nuovo giudizio nel senso dei considerandi. I ricorrenti fanno valere la violazione del diritto federale e l'accertamento arbitrario dei fatti.
E. La Corte cantonale si riconferma nella sua sentenza. Il Consiglio di Stato si rimette al giudizio del Tribunale federale. È stato invitato a presentare osservazioni al ricorso anche l'Ufficio federale dell'ambiente, che comunica di confermare il giudizio della Corte cantonale. I ricorrenti hanno replicato alla risposta dell'autorità federale, ribadendo le loro conclusioni.
Con decreto presidenziale del 4 novembre 2011 è stato conferito effetto sospensivo al gravame.
Diritto:
1. Presentato tempestivamente contro una decisione finale dell'ultima istanza cantonale, che ha confermato l'accertamento del carattere forestale dei fondi in discussione, il ricorso in materia di diritto pubblico è ammissibile sotto il profilo degli art. 82 lett. a, 86 cpv. 1 lett. d, 90 e 100 cpv. 1 LTF. I ricorrenti hanno partecipato al procedimento in sede cantonale e, quali proprietari dei fondi oggetto dell'accertamento litigioso, sono particolarmente toccati dalla decisione impugnata ed hanno un interesse degno di protezione al suo annullamento o alla sua modifica. Essi sono pertanto legittimati a ricorrere secondo l'art. 89 cpv. 1 LTF. In quanto proprietario della particella xxx, il Comune è infatti colpito analogamente a un privato (cfr. DTF 135 II 156 consid. 3.1).
2. 2.1 I ricorrenti rimproverano alla Corte cantonale di non avere sospeso la causa fino alla conclusione della procedura di dissodamento concernente la particella xxx, avviata dal Comune con una domanda del 17 novembre 2010 all'autorità cantonale competente.
2.2 Al riguardo, i ricorrenti non fanno valere l'applicazione arbitraria di disposizioni procedurali cantonali in materia di sospensione delle cause. La decisione della Corte cantonale di non sospendere la procedura ricorsuale non presta comunque il fianco a critiche ove solo si consideri che il dissodamento presuppone l'esistenza di suolo boschivo (cfr. art. 4 della legge federale sulle foreste, del 4 ottobre 1991 [LFo; RS 921.0]). La procedura di accertamento del carattere forestale ha appunto lo scopo di stabilire l'esistenza o meno di una superficie boschiva, sicché è senz'altro ragionevole concluderla prima di iniziare quella di dissodamento.
3. 3.1 I ricorrenti sostengono che la Corte cantonale sarebbe incorsa nell'arbitrio fondandosi essenzialmente sulle fotografie aeree. In particolare avrebbe omesso di considerare che queste immagini non sarebbero idonee ad accertare il carattere forestale dei fondi, siccome non mostrerebbero i dettagli della vegetazione e le specie di piante presenti. Sostengono che, contrariamente a quanto stabilito nella sentenza impugnata, le fotografie non consentirebbero di accertare la preesistenza di "essenze forestali ai sensi della LFo". Tanto più che il sopralluogo ha permesso di constatare la presenza di piante esotiche quali palme e mimose in misura maggiore rispetto a quelle indigene. I ricorrenti fanno inoltre riferimento ai manufatti e alle infrastrutture balneari dismesse, che concorrerebbero a dimostrare come la vegetazione visibile nelle fotografie presenterebbe le caratteristiche di un parco-giardino. Al dire dei ricorrenti, i giudici cantonali avrebbero pure accertato in modo manifestamente inesatto l'inesistenza di una domanda di dissodamento negli atti dell'incarto, trascurando quella presentata il 17 novembre 2010 dal Municipio alla Sezione forestale.
3.2 Ora, con queste argomentazioni i ricorrenti si limitano a sminuire la rilevanza delle immagini aree, ma non sostanziano arbitrio alcuno. Non dimostrano infatti, con una motivazione conforme alle esigenze di motivazione degli art. 42 cpv. 2 e 106 cpv. 2 LTF, che l'accertamento di una folta vegetazione boschiva sulla base delle fotografie aeree degli anni 1971, 1977, 1983, 1989 e 1995 sarebbe chiaramente insostenibile, in evidente contrasto con gli atti, fondato su una svista manifesta o manifestamente in contraddizione con il sentimento di giustizia e di equità (cfr., sulle esigenze di motivazione, DTF 136 I 49 consid. 1.4.1, 65 consid. 1.3.1; 133 II 249 consid. 1.4.1). Secondo la giurisprudenza del Tribunale federale, le riprese fotografiche aeree, a dipendenza della loro qualità, hanno infatti di massima valore probatorio (DTF 113 Ib 357 consid. 2b; 108 Ib 509 consid. 5 pag. 511). In concreto, dalle stesse risulta in modo chiaro l'esistenza in passato di una vegetazione boschiva fitta ed uniforme sui fondi dei ricorrenti. Il fatto che non si distinguono nel dettaglio le singole specie presenti non inficia di per sé di arbitrio il corretto accertamento della Corte cantonale. La ve getazione ritratta dalle fotografie è infatti del tutto simile a quella che ricopre l'esteso territorio boschivo circostante e presenta caratteristiche di natura prevalentemente indigena. La Corte cantonale ha del resto pure accertato che, seppure in misura limitata, sono ancora presenti specie indigene (castagno, sambuco e alloro) nonché ceppaie di piante tagliate o sradicate. Sulla base di una valutazione complessiva degli elementi disponibili, la Corte cantonale ha quindi rettamente accertato la preesistenza sui fondi dei ricorrenti di una folta vegetazione di essenze forestali.
3.3 La precedente istanza ha poi rilevato che tale situazione è stata modificata nel corso degli anni quando la vegetazione è stata parzialmente rimossa senza permesso. Ha infatti appurato che dagli atti non risultava alcuna domanda di dissodamento, né alcuna autorizzazione al taglio di alberi. Al riguardo, richiamando semplicemente la domanda di dissodamento del 17 novembre 2010, i ricorrenti non sostanziano arbitrio alcuno e nemmeno dimostrano che la situazione attuale sarebbe il risultato di dissodamenti regolarmente autorizzati in passato. L'invocata domanda è successiva alla decisione di accertamento forestale in causa ed è pertanto irrilevante ai fini della stessa.
I ricorrenti fanno anche riferimento alla situazione esistente sul terreno, che presenterebbe le caratteristiche di un parco-giardino, in particolare per la presenza di piante prevalentemente esotiche, nonché di manufatti e vecchie infrastrutture balneari. Questo stato di fatto non è stato ignorato dalla Corte cantonale, ma è stato compiutamente accertato, anche mediante l'esperimento del sopralluogo. A ragione essa non lo ha però ritenuto decisivo ai fini del giudizio sull'accertamento forestale, visto che si tratta di una situazione modificata e che la preesistenza del bosco risulta comunque chiaramente dalle riprese fotografiche aeree, valutate globalmente tenendo conto delle circostanze complessive. Secondo la giurisprudenza, anche una superficie oggi parzialmente o totalmente priva di alberi può infatti essere considerata boschiva, se, come in concreto, è stata dissodata senza autorizzazione (DTF 124 II 85 consid. 4d pag. 92; 113 Ib 357 consid. 2b; 108 Ib 509 consid. 6).
4. 4.1 I ricorrenti lamentano una violazione dell'art. 2 LFo, sostenendo che le loro particelle non svolgerebbero alcuna funzione forestale e rientrerebbero piuttosto nella nozione di parco o di giardino giusta il cpv. 3 della norma. Ritengono in sostanza che la Corte cantonale avrebbe riconosciuto a torto la qualifica di foresta.
4.2 Sulla base dei citati accertamenti si deve tuttavia concludere che la precedente istanza non ha violato il diritto federale, segnatamente l'art. 2 LFo, riconoscendo il carattere forestale ai fondi part. xxx e yyy. Vista la loro conformazione, parzialmente in pendio, può essere riconosciuta alla superficie arborea quantomeno una funzione protettiva, legata alla prevenzione dell'erosione del terreno (cfr. art. 1 cpv. 1 lett. c LFo; DTF 113 Ib 357 consid. 2c). Una ponderazione con interessi privati o con altri interessi pubblici toccati non deve per contro essere eseguita allo stadio dell'accertamento della natura boschiva dei fondi. Sotto questo profilo, la volontà dei ricorrenti di negarne il carattere boschivo e i loro interessi ad utilizzarli diversamente, segnatamente quali parchi o giardini, non sono quindi rilevanti (DTF 124 II 85 consid. 3e e 4d).
5. 5.1 I ricorrenti invocano il principio della buona fede, sostenendo che la costruzione, a suo tempo, dei manufatti ad uso balneare, il valore di stima della particella xxx, di fr. 40.-- il m2, e l'intenzione del Comune di destinarla ad area pubblica di svago, avrebbe fatto sorgere in loro la legittima aspettativa che le proprietà fossero escluse dal comprensorio forestale.
5.2 Con queste argomentazioni i ricorrenti non si confrontano con il giudizio impugnato con una motivazione conforme all'art. 42 cpv. 2 LTF, né spiegano in quale misura sarebbero adempiute le condizioni poste dalla giurisprudenza per ammettere la tutela dell'invocata garanzia costituzionale (cfr., al riguardo, DTF 137 II 182 consid. 3.6.2; 131 II 627 consid. 6.1). In particolare, i ricorrenti non dimostrano che l'autorità competente avrebbe rilasciato loro un'assicurazione concreta e vincolante riguardo al mancato carattere forestale dei loro fondi. Né considerano che un'assicurazione in tal senso avrebbe comunque perso di efficacia nel caso di mutamenti legislativi intervenuti successivamente al suo rilascio, come si è verificato in concreto con l'entrata in vigore della LFo, il 1° gennaio 1993. In tali circostanze, la censura non deve essere esaminata oltre.
6. Il gravame è infine parimenti inammissibile laddove i ricorrenti accennano a una violazione degli art. 15 lett. a e 19 LPT adducendo che i loro fondi sarebbero urbanizzati ed idonei ad essere inseriti in una zona edificabile. Si tratta infatti di una censura di ordine pianificatorio, che esula dall'oggetto del litigio, circoscritto alla questione dell'accertamento del carattere forestale.
7. Ne segue che il ricorso deve essere respinto nella misura della sua ammissibilità. Le spese giudiziarie sono poste a carico di A._ in considerazione della sua soccombenza (art. 66 cpv. 1 LTF). Il Comune di Vico Morcote, corporazione di diritto pubblico che si è rivolta al Tribunale federale nell'ambito delle sue attribuzioni ufficiali, può infatti essere dispensato dal pagamento di spese giudiziarie (art. 66 cpv. 4 LTF).
Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso è respinto.
2. Le spese giudiziarie di fr. 2'000.-- sono poste a carico del ricorrente privato.
3. Comunicazione al patrocinatore dei ricorrenti, al Consiglio di Stato, al Tribunale amministrativo del Cantone Ticino e all'Ufficio federale dell'ambiente.