Fatti:
A. Due comunioni ereditarie sono comproprietarie della particella xxx sita a Viganello, nella zona residenziale intensiva R2, ubicata sulle falde della collina sulla quale sorgono la chiesa di Santa Maria di Pazzalino e il relativo caratteristico campanile, dichiarato monumento culturale d'interesse cantonale. La parte alta del fondo è inclusa nella zona di protezione istituita attorno alla chiesa, mentre quella bassa è gravata da un vincolo di piano di quartiere obbligatorio e, parzialmente, da un divieto di edificazione.
L'11 giugno 2007, C._, beneficiario di un diritto di compera sul citato fondo, ha chiesto al Municipio di Lugano il rilascio della licenza di piano di quartiere, per tre stabili d'appartamenti, incastonati nel pendio, nonché il permesso di costruzione. La prima domanda era stata avversata, per motivi estetici, dal Dipartimento del territorio. L'interessato ha quindi inoltrato, in rappresentanza delle comunioni ereditarie, due nuove domande di costruzione, una per il piano di quartiere, l'altra per attuarlo. Il progetto prevede la realizzazione di tre edifici, con un'autorimessa sotterranea per 23 veicoli.
B. Il Dipartimento del territorio ha preavvisato favorevolmente il progetto, tranne che per gli interventi previsti sull'area di svago e per la loro insufficiente distanza da un corso d'acqua. Dopo che il Consiglio di Stato aveva accolto un reclamo per denegata giustizia degli istanti, con decisione del 5 giugno 2009 il Municipio, sebbene il progetto rispetti i parametri edificatori, ha respinto la domanda per la sua "qualità architettonica insufficiente", ritenendolo "mal inserito nel delicato contesto della collina". Il 17 marzo 2010 il Consiglio di Stato ha confermato il provvedimento. Con giudizio del 24 agosto 2010, il Tribunale cantonale amministrativo ha parzialmente accolto un ricorso degli istanti annullando sia la decisione governativa sia quella municipale e ha quindi rinviato gli atti al Municipio, affinché rilasci agli insorgenti la richiesta licenza edilizia di piano di quartiere, tenuto nondimeno conto del rispetto della distanza minima dal corso d'acqua nel quadro della sistemazione dell'area di svago.
C. Avverso questo giudizio sia i vicini A._ e B._ (causa 1C_442/2010) sia il Comune di Lugano (causa 1C_448/2010) presentano un ricorso in materia di diritto pubblico al Tribunale federale. I vicini chiedono di rinviare gli atti all'autorità comunale o cantonale, affinché evada negativamente la richiesta licenza di piano di quartiere; il Comune di annullare la decisione impugnata e di confermare quella governativa e quella municipale.
Con decreto presidenziale del 29 ottobre 2010 al ricorso è stato conferito effetto sospensivo.
D. Il Consiglio di Stato si rimette al giudizio del Tribunale federale, C._, D._ e gli altri componenti delle comunioni ereditarie chiedono di respingere i gravami, mentre i ricorrenti propongono, a vicenda, di accoglierli. La Corte cantonale, respingendo le eccezioni ricorsuali, si riconferma nel giudizio impugnato.
Diritto:
1. 1.1 Le due impugnative sono dirette, con motivazioni analoghe, contro la stessa sentenza e riguardano la medesima fattispecie. Si giustifica quindi di trattarle congiuntamente, in un unico giudizio.
1.2 Il Tribunale federale esamina d'ufficio e con piena cognizione la sua competenza (art. 29 cpv. 1 LTF) e l'ammissibilità dei ricorsi sottopostigli (DTF 136 II 101 consid. 1).
1.3 Presentati tempestivamente contro una decisione dell'ultima istanza cantonale emanata in ambito pianificatorio ed edilizio, il ricorso in materia di diritto pubblico è di massima ammissibile sotto il profilo degli art. 82 lett. a, 86 cpv. 1 lett. d e 100 cpv. 1 LTF (DTF 133 II 409 consid. 1.1).
1.4 Secondo l'art. 42 cpv. 2 LTF, nel ricorso occorre spiegare per quali ragioni l'atto impugnato viola il diritto. Il ricorrente deve quindi almeno concisamente confrontarsi con le considerazioni esposte nella decisione impugnata, spiegando per quali motivi tale giudizio viola il diritto (DTF 133 II 249 consid. 1.4.1). Le esigenze di motivazione sono inoltre accresciute laddove il ricorrente lamenta, come in concreto, la violazione di diritti fondamentali e di norme del diritto cantonale (art. 106 cpv. 2 LTF), nonché l'arbitrio nell'accertamento dei fatti e nella valutazione delle prove, dato che ciò equivale a sostenere che i fatti sono stati accertati in violazione dell'art. 9 Cost. e del diritto federale (DTF 136 II 508 consid. 1.2, 304 consid. 2.4 e 2.5, 49 consid. 1.4.1).
1.5 La legittimazione del Comune, fondata sull'autonomia comunale, che in concreto può pertanto essere invocata a titolo ausiliario anche dagli altri ricorrenti (sentenza 1C_27/2010 dell'11 marzo 2010 consid. 1.5 in, RtiD II-2010 n. 5 pag. 27), è pacifica; quella dei vicini, che dev'essere da loro dimostrata, è data soltanto in quanto essi abbiano un vantaggio pratico all'annullamento o alla modifica della decisione impugnata: nella misura in cui il ricorso persegue solo un interesse generale all'applicazione corretta del diritto o la tutela di interessi generali o di terzi, esso è per contro inammissibile, poiché il loro interesse personale deve distinguersi chiaramente da quello generale degli altri abitanti del Comune, l'azione popolare essendo esclusa (DTF 133 II 249 consid. 1.1, 1.3.1 e 1.3.2; sentenza 1C_64/2007 del 2 luglio 2007 consid. 2). Contrariamente all'assunto dei ricorrenti, come ancora si vedrà, non si è peraltro in presenza dell'impugnazione di un atto normativo (sulla legittimazione in tale ambito vedi DTF 136 I 17 consid. 2.1; 135 II 243 consid. 1.2; 106 Ia 383 consid. 3b; sentenza 1C_23/2010 del 16 agosto 2010 consid. 1.2). Certo, un vicino può di massima far valere censure relative a una clausola di estetica, ma la relativa norma deve nondimeno avere un influsso concreto sulla sua situazione e lo stesso deve ricavare comunque un vantaggio concreto dall'accoglimento del gravame, ciò che essi non dimostrano (sentenza 1C_18/2008 del 15 aprile 2008 consid. 5.1).
D'altra parte, nella misura in cui i vicini adducono, peraltro in maniera generica, l'eventuale crollo di un muro a secco, nonché l'asserita necessità di creare una breccia nello stesso per garantire un accesso veicolare sufficiente ai progettati stabili, senza tuttavia addurre alcuna ripercussione concreta sulla loro proprietà, il ricorso è inammissibile sia per carenza di legittimazione sia anche perché si tratta di allegazioni nuove (art. 99 LTF). La stessa conclusione vale anche per l'accenno a un'asserita disparità di trattamento in relazione a non meglio precisati sacrifici imposti a determinati proprietari della zona R2, che non troverebbero riscontro nel contestato piano di quartiere e non garantirebbero pertanto la salvaguardia paesaggistica del comparto, critica che non adempie del resto le esigenze di motivazione previste dall'art. 42 LTF.
1.6 Il Comune sostiene che si sarebbe in presenza di una decisione finale secondo l'art. 90 LTF, mentre i vicini non si esprimono al riguardo. Ora, come risulta chiaramente dal dispositivo del criticato giudizio, si è in presenza di una decisione di rinvio, quindi incidentale ai sensi dell'art. 93 LTF.
1.6.1 Secondo la citata norma, il ricorso contro una decisione incidentale è ammissibile se può causare un pregiudizio irreparabile (lett. a) o se l'accoglimento del ricorso comporterebbe immediatamente una decisione finale consentendo di evitare una procedura probatoria defatigante o dispendiosa (lett. b), presupposto quest'ultimo che non è addotto né ravvisabile nel caso di specie. Queste condizioni di ammissibilità, il cui adempimento deve di principio essere dimostrato dai ricorrenti (DTF 134 III 426 consid. 1.2 in fine; 133 II 629 consid. 2.3.1), mirano a sgravare il Tribunale federale, che di massima deve potersi esprimere sull'oggetto del litigio con un'unica decisione, evitando di pronunciarsi parzialmente, senza un esaustivo accertamento della fattispecie, nell'ambito delle diverse fasi della procedura. Se eventuali pregiudizi possono essere eliminati in modo adeguato anche nel contesto di un esame successivo all'emanazione del giudizio finale, questo Tribunale non entra nel merito di impugnative contro decisioni pregiudiziali e incidentali (DTF 135 II 30 consid. 1.3.1 e 1.3.2; 133 V 477 consid. 4.1.3; sulla nozione di pregiudizio irreparabile ai sensi dell'art. 93 cpv. 1 lett. a LTF, vedi DTF 136 II 165 consid. 1.2.1 e rinvii).
1.6.2 La Corte cantonale ha ritenuto fondata la critica addotta dal Dipartimento del territorio, secondo cui le opere di sistemazione dell'area di svago non rispettano la distanza minima di 5 m dal vicino corso d'acqua. Ha ritenuto nondimeno che questo difetto non giustificava un diniego della licenza di piano di quartiere, quest'ultima potendo essere subordinata alla condizione di adeguarle a tale distanza dal torrente, rinviando la realizzazione concreta e i dettagli definitivi di dette opere alla successiva fase di rilascio del permesso di costruzione. Ha quindi rinviato gli atti al Municipio, affinché rilasci la licenza di piano di quartiere, limitandola, in quanto riferita all'area di svago, alle condizioni appena citate.
1.6.3 Ora, secondo la giurisprudenza, si è in presenza di un pregiudizio irreparabile quando una decisione di rinvio obbliga, come nel caso di specie, un comune a emanare una nuova decisione contro la propria concezione giuridica, per poi impugnarla nuovamente (DTF 128 I 3 consid. 1b; 116 Ia 41 consid. 1b pag. 44, 221 consid. 1d/aa); d'altra parte, la decisione impugnata contiene ingiunzioni molto precise e non lascia al Comune ricorrente alcun spazio di manovra (DTF 134 III 136 consid. 1.2; cfr. anche DTF 135 II 30 consid. 1.3.4 e 1.3.5). Il ricorso del Comune, e per ovvi motivi di economia processuale anche quello dei vicini, possono quindi essere esaminati nel merito, ritenuto inoltre che, riguardo all'area di svago, la decisione impugnata non è criticata.
2. 2.1 La Corte cantonale, dopo essersi espressa sulla natura del piano di quartiere, che secondo l'art. 56 della legge cantonale del 23 maggio 1990 di applicazione della LPT (LALPT) costituisce un progetto planovolumetrico inteso a concretare gli obiettivi di qualità paesaggistica, architettonica e urbanistica fissati dal piano regolatore, ha ricordato ch'esso configura in sostanza una licenza quadro. Ha poi rilevato che secondo l'art. 54 delle norme di attuazione del piano regolatore di Viganello (NAPR) l'edificazione della particella in esame è soggetta all'allestimento di un piano di quartiere obbligatorio, che, per quanto qui interessa, deve svilupparsi tenendo in considerazione la salvaguardia del campanile della parrocchia di Santa Maria, obiettivo attuato mediante l'inserimento sul fondo sub G di un punto di vista e che "dal profilo urbanistico si attende un linguaggio architettonico armonioso e ben inserito nel contesto territoriale", stabilito che valgono i parametri edilizi della zona R2 e gli elaborati grafici allegati alle NAPR. Essa ha ritenuto che l'obbligo di adottare un linguaggio architettonico armonioso configura una cosiddetta clausola estetica positiva, che non si limita quindi a vietare una deturpazione del paesaggio, ma esige che l'edificazione si inserisca convenientemente nel quadro ambientale.
Il Tribunale cantonale amministrativo ha poi rilevato che le due citate nozioni costituiscono nozioni giuridiche indeterminate, per cui il loro controllo è circoscritto alla violazione del diritto, censurabili essendo soltanto le interpretazioni sprovviste di ragioni oggettive e costitutive quindi di un abuso di potere: pertanto, ove la valutazione estetica appaia plausibile, l'autorità di ricorso non può censurarla sostituendo il suo apprezzamento a quello dell'istanza decidente.
2.2 Il Comune critica la suddivisione operata dalla Corte cantonale secondo cui l'inserimento estetico dei volumi nel contesto territoriale dev'essere esaminato nel quadro della domanda di piano di quartiere, mentre in una seconda fase, nell'ambito della successiva domanda di costruzione, dev'essere valutato il linguaggio architettonico dei tre edifici per rapporto al quadro ambientale.
2.2.1 È vero che l'art. 56 LALPT include, oltre alla qualità paesaggistica e urbanistica, anche quella architettonica quale obiettivo del piano di quartiere e che, d'altra parte, riguardo a detto piano, l'art. 54 NAPR prescrive l'osservanza di un linguaggio architettonico armonioso. Certo, mal si comprende - e la Corte cantonale non lo spiega - perché, contrariamente a quanto previsto dalle citate norme, l'esame del linguaggio architettonico degli edifici per rapporto al quadro ambientale dovrebbe essere valutato posteriormente, ritenuto che le dimensioni e la volumetria degli edifici influiscono in maniera considerevole sul "linguaggio architettonico armonioso" richiesto dall'art. 54 NAPR, formulazione peraltro assai indeterminata e vaga.
2.2.2 Nelle osservazioni ai ricorsi, il Tribunale cantonale amministrativo ha tuttavia precisato che per "espressione architettonica" degli edifici esso intende la definizione di tutti i dettagli delle costruzioni, come per esempio la posizione precisa delle aperture, i materiali utilizzati, ecc. In tale misura l'argomentazione non è insostenibile e quindi arbitraria (su questa nozione vedi DTF 137 I 1 consid. 2.4; in tal senso anche MARC-OLIVIER BESSE, Le régime des plans d'affectation. En particulier le plan de quartier, 2010, pag. 305).
3. 3.1 Il Municipio ha rifiutato il progetto di piano di quartiere, ritenendo ch'esso, sebbene ossequi i parametri edificatori di base imposti dal piano regolatore, non rispetterebbe l'obbligo previsto dall'art. 54 NAPR di integrarsi armoniosamente nel contesto territoriale, denotando una qualità architettonica insufficiente ed essendo mal integrato nel delicato contesto della collina; i previsti stabili avrebbero volumi importanti in confronto al tessuto in cui si inserirebbero, mentre le volumetrie non troverebbero una corrispondenza tra di loro. Ne ha concluso ch'esso sarebbe dettato più da costrizioni legate ai parametri edificatori di base definiti dal piano regolatore e dall'orografia del fondo, che non da una regola progettuale capace di organizzare e governare l'edificabilità.
3.2 Al riguardo, la Corte cantonale ha accertato che il progetto di piano di quartiere in esame prevede l'edificazione di tre stabili, lunghi 22 m, larghi da m 13.70 a m 18.60 e alti m 8.50, allineati da est a ovest e incastonati nel pendio situato a monte del percorso pedonale che sale verso la chiesa. Ha ritenuto che sotto il profilo dell'inserimento estetico la lunghezza delle facciate rispetta il limite fissato, mentre le larghezze laterali, incastonate in larga misura nel pendio, costituiscono un aspetto meno importante. Ha quindi concluso che l'imponenza dei volumi non può giustificare un diniego della licenza, poiché la lunghezza delle facciate e l'altezza degli stabili rispettano, sfruttandoli al massimo, i parametri edificatori della zona R2.
3.3 Il Comune contesta questa conclusione, adducendo che la giurisprudenza addotta dalla Corte cantonale concernerebbe casi differenti, come quello oggetto della DTF 115 Ia 114 consid. 3d, nel quale la licenza edilizia era stata negata non dal Municipio, ma dalla Commissione di ricorso. Detta circostanza non è decisiva. In effetti, spetta in primo luogo all'autorità comunale valutare l'aspetto architetturale degli edifici, per cui le autorità di ricorso non possono semplicemente sostituire il loro potere di apprezzamento ma devono imporsi un certo ritegno e rispettare l'ampio margine di apprezzamento che compete sia in fatto sia in diritto all'autorità comunale (al riguardo vedi anche MARCO BORGHI, Il diritto per gli architetti, 2010, n. 273-275). Ora, anche nella richiamata sentenza è stato rilevato che la citata Commissione, come il Municipio nel caso di specie, non ha spiegato cosa gli istanti dovrebbero fare in concreto e come dovrebbe essere ridefinita la concezione generale del progetto. La Corte cantonale ha quindi rettamente constatato che i servizi del Comune, che hanno seguito la domanda di costruzione e promosso l'adeguamento del primo progetto, non hanno mai proposto o suggerito soluzioni alternative, ritenendo che non sarebbe facilmente ipotizzabile una diversa regola progettuale capace di organizzare ed ordinare l'edificazione. Come nella citata causa, anche nel caso di specie l'applicazione della clausola relativa all'estetica non può snaturare la disciplina vigente in materia di zone. Anche nella fattispecie l'autorità si limita in definitiva a esigere una ridefinizione della concezione generale del progetto senza tuttavia fornire al riguardo, né ciò è desumibile dall'art. 54 NAPR, alcuna indicazione concreta, lasciando intendere che qualsiasi nuovo progetto sarà rifiutato fintanto che le sue dimensioni e il suo volume, benché regolamentari, non vengano ridotti (DTF 115 Ia 114 consid. 3 d pag. 119 seg.; sentenza 1C_258/2009 del 20 maggio 2010 consid. 6.4; PETER HÄNNI, Planungs-, Bau- und besonderes Umweltschutzrecht, 5a ed. 2008, pag. 318 seg.; sulla fissazione degli elementi essenziali nel quadro delle previgenti disposizioni sul piano di quartiere, cfr. MATEA PESSINA, Il piano di quartiere nel diritto della pianificazione del territorio ticinese in, RDAT II-1997 pag. 285 segg., pag. 292 segg.). In effetti, in presenza di una clausola d'estetica positiva, tendente a garantire una visione d'insieme soddisfacente, alla sua applicazione concreta devono essere posti criteri più severi, motivati in maniera precisa. Ciò non è avvenuto in concreto. Occorre infatti spiegare, in maniera obiettiva, perché, sebbene un'opera rispetti i parametri edilizi vigenti, essa non raggiunga un effetto globale soddisfacente sia per l'edificio sia per l'ambiente in cui è ubicata a causa della sua configurazione o della sua forma architettonica (DTF 114 Ia 343 consid. 4b; sul contenuto del piano di quartiere sotto il profilo della clausola d'estetica, vedi BESSE, op. cit., pag. 302 segg.).
3.4 Neppure il generico accenno del Municipio, che a parità di sfruttamento un progetto potrebbe risultare sensibilmente più voluminoso di un altro, fornisce un'indicazione sulla richiesta configurazione dello stesso.
Il Comune precisa che la disciplina prevista dall'art. 54 cpv. 4 NAPR concerne solo la particella in questione: a maggior ragione pertanto tale regolamentazione, del resto non impugnata e cresciuta in giudicato, avrebbe dovuto essere particolareggiata, più precisa e puntuale. Manifestamente non è sufficiente limitarsi, come esposto nel ricorso, a rilevare che si tratta di un luogo molto sensibile, richiedente un "progetto attento ai valori paesaggistici e a quelli degli elementi di contorno, nonché una particolare qualità architettonica". Qualità che tuttavia non può essere determinata sulla base delle citate, vaghe formulazioni fornite dal Comune. In siffatte condizioni non si è in presenza di un interesse pubblico preponderante, che potrebbe permettere di imporre una riduzione della criticata densità di occupazione, ritenuto che lo sfruttamento delle possibilità edificatorie previste dalla normativa comunale né appare irragionevole né irrazionale (cfr. DTF 115 Ia 363 consid. 3a e 4c; cfr. per il caso contrario, sentenza 1P.392/1990 del 20 febbraio 1991 consid. 4b in, RDAT I-1992 n. 25 pag. 60 seg.).
4. 4.1 La Corte cantonale ha pure ritenuto che l'ulteriore argomento addotto dal Comune, ossia che i tre edifici non troverebbero una corrispondenza fra di loro, non giustifica il diniego della licenza. Ricordato che i loro volumi divergono soltanto per la lunghezza delle facciate laterali, i giudici cantonali non vedono come una maggior corrispondenza di queste parti dell'opera, peraltro secondarie rispetto alle facciate principali, potrebbe migliorare l'inserimento estetico del complesso nella collina. Al riguardo, il Comune si limita a rilevare, in maniera del tutto generica e appellatoria, che anche le altre facciate divergerebbero per allineamento e orientamento. Con questo accenno esso non dimostra affatto che si sarebbe in presenza di un accertamento addirittura insostenibile e quindi arbitrario dei fatti (art. 97 cpv. 1 e 2 LTF; DTF 136 I 184 consid. 1.2; 136 II 304 consid. 2.4).
4.2 La Corte cantonale ha poi ritenuto che la licenza non può essere negata perché, secondo il Comune, il progetto sarebbe governato più da costrizioni legate ai parametri edificatori di base definiti dal piano regolatore e dalla configurazione del fondo, che da "una regola progettuale capace di organizzare e ordinare l'edificazione". A ragione il Tribunale amministrativo ha ritenuto che la concezione di un progetto, in funzione delle possibilità edificatorie offerte, non consente di affermare ch'esso non potrebbe inserirsi adeguatamente nel contesto territoriale. Ha inoltre stabilito che, in concreto, una diversa regola progettuale non è facilmente ipotizzabile. Ha accertato, che il Comune non ha mai proposto o suggerito soluzioni alternative, che permetterebbero di meglio inserire gli edifici nel quadro del paesaggio, ritenuto che le lunghezze delle facciate, le distanze minime tra edifici e il divieto di edificare la parte est del fondo condizionano pesantemente le scelte progettuali, limitando d'acchito il reperimento di soluzioni alternative.
4.3 Queste conclusioni non sono arbitrarie. In effetti, anche nel ricorso in esame, il Comune neppure tenta di addurre un qualsiasi argomento o qualche indicazione atti a spiegare in che maniera l'invocata "regola progettuale" potrebbe essere attuata concretamente. In siffatte condizioni è manifesto che, come in DTF 115 Ia 114, ogni nuovo progetto sarebbe rifiutato finché le sue dimensioni e il suo volume, sebbene regolamentari, non verranno ridotti, senza neppure indicare in che misura una tale riduzione dovrebbe essere attuata. Nelle descritte circostanze, la Corte cantonale non ha quindi superato la latitudine di giudizio che le compete, né ha violato l'autonomia comunale.
5. I ricorsi, in quanto ammissibili, devono pertanto essere respinti. Contrariamente ai vicini (art. 66 cpv. 1 LTF), al Comune ricorrente, che ha agito nell'esercizio delle sue attribuzioni senza avere interessi pecuniari, non sono addossate spese giudiziarie (art. 66 cpv. 4 LTF). Per contro, anche il Comune è tenuto a rifondere agli opponenti un'indennità per le ripetibili della sede federale (art. 68 cpv. 1 LTF).
Per questi motivi, il Tribunale federale pronuncia:
1. Le cause 1C_442/2010 e 1C_448/2010 sono congiunte.
2. Nella misura in cui sono ammissibili, i ricorsi sono respinti.
3. Le spese giudiziarie di fr. 2'000.-- sono poste a carico di A._ e B._, che rifonderanno agli opponenti un'indennità di fr. 2'000.-- a titolo di ripetibili della sede federale, di cui fr. 1'000.- a carico del Comune.
4. Comunicazione ai patrocinatori delle parti, al Municipio di Lugano, al Consiglio di Stato e al Tribunale amministrativo del Cantone Ticino.