Fatti: A. Nell'ambito della revisione del piano regolatore di Vico Morcote, con decisione del 24 novembre 2005 la Sezione forestale del Dipartimento del territorio ha determinato l'accertamento generale del limite del bosco a confine con la zona edificabile. Ha in particolare stabilito che il fondo part. xxx, di 693 m2 e di proprietà del Comune di Vico Morcote, nonché quello contiguo part. yyy, di 746 m2 e di proprietà di A._, erano interamente di natura forestale. Le particelle sono situate sulla riva del lago Ceresio, a valle della strada cantonale che lo costeggia, e confinano a nord ed a sud con la zona edificabile, già edificata, del piano regolatore comunale. Vi si trovano attualmente piante indigene e, in misura prevalente, esotiche, manufatti quali vialetti, muri e terrazzamenti, nonché alcune infrastrutture balneari dismesse di un complesso alberghiero risalente ai primi anni settanta. B. Sia il Comune di Vico Morcote sia A._ hanno impugnato la decisione di accertamento del carattere forestale dinanzi al Consiglio di Stato del Cantone Ticino, che, con risoluzioni del 16 ottobre 2007, ha respinto i gravami e confermato la decisione dell'autorità forestale. C. Con sentenza del 26 agosto 2011, il Tribunale cantonale amministrativo, dopo avere esperito un sopralluogo, ha respinto in quanto ammissibili i ricorsi presentati dai due proprietari contro le risoluzioni governative. La Corte cantonale ha confermato l'accertamento dell'autorità forestale rilevando essenzialmente che la preesistenza del bosco risultava chiaramente dalle fotografie aeree agli atti e che non risultavano essere state rilasciate autorizzazioni di dissodamento. D. Il Comune di Vico Morcote e A._ impugnano questa sentenza con un ricorso in materia di diritto pubblico al Tribunale federale, chiedendo in via principale di annullarla e di estromettere le loro particelle dall'area boschiva, correggendo in tal senso il limite del bosco. In via subordinata, chiedono di rinviare gli atti alla Corte cantonale per un nuovo giudizio nel senso dei considerandi. I ricorrenti fanno valere la violazione del diritto federale e l'accertamento arbitrario dei fatti. E. La Corte cantonale si riconferma nella sua sentenza. Il Consiglio di Stato si rimette al giudizio del Tribunale federale. È stato invitato a presentare osservazioni al ricorso anche l'Ufficio federale dell'ambiente, che comunica di confermare il giudizio della Corte cantonale. I ricorrenti hanno replicato alla risposta dell'autorità federale, ribadendo le loro conclusioni. Con decreto presidenziale del 4 novembre 2011 è stato conferito effetto sospensivo al gravame.