Fatti:
A. C._, loca ai coniugi B.A._ e A.A._ un appartamento di sei locali a Lugano. II contratto originario, firmato dal marito, risale al gennaio 1963 ma è stato rinnovato nell'agosto 1997; in tale occasione il canone di locazione annuo è stato fissato in fr. 20'400.--, oltre all'acconto per le spese accessorie, ed è stata pattuita la possibilità di disdire il contratto a scadenze trimestrali, la prima volta il 30 giugno 2002.
A.a La locatrice ha disdetto il contratto di locazione il 9 ottobre 2002, con effetto al 30 giugno 2003, inviando un solo modulo ufficiale ai coniugi A.A._ e B.A._. Il 6 novembre 2002 questi hanno contestato la disdetta davanti all'Ufficio di conciliazione in materia di locazione di Lugano per l'assenza di notificazione separata.
L'8 novembre 2002 i conduttori hanno inoltre chiesto alla locatrice una riduzione della pigione. Di fronte al suo rifiuto, il 2 dicembre 2002 hanno presentato l'istanza di riduzione all'Ufficio di conciliazione.
Le due procedure sono state riunite e sospese consensualmente, in vista di un accordo, durante l'udienza svoltasi il 16 dicembre 2002.
A.b II 7 luglio 2003 la locatrice ha notificato, questa volta con modulo ufficiale separato per ogni coniuge, una nuova disdetta del contratto di locazione per il 31 dicembre 2003. Anche questo atto è stato contestato davanti all'Ufficio di conciliazione.
AII'udienza del 15 settembre 2003 le tre procedure sono state riunite e la locatrice ha ritirato la prima disdetta, quella del 9 ottobre 2002, riconoscendone la nullità.
L'Ufficio di conciliazione in materia di locazione si è pronunciato con decisione del 22 aprile 2005: ha stralciato dai ruoli la procedura di contestazione della prima disdetta del 9 ottobre 2002, ha accertato la validità della seconda disdetta del 7 luglio 2003, ha concesso una proroga del contratto di locazione fino al 30 giugno 2005 e ha costatato la mancata conciliazione sulla domanda di riduzione della pigione.
B. Con istanze separate del 1° giugno 2005 A.A._ e B.A._ hanno riproposto al Pretore del Distretto di Lugano la domanda di riduzione della pigione e di accertamento della nullità della disdetta del 7 luglio 2003; in subordine hanno chiesto la protrazione del contratto per la durata massima possibile. La locatrice ha avversato tutte le loro richieste.
Statuendo il 18 dicembre 2007, la giudice adita ha accertato la validità della disdetta, ha protratto il contratto fino al 31 dicembre 2007 e ha accolto parzialmente la domanda di riduzione della pigione, fissando in fr. 1'756.45 annui l'importo della riduzione.
Questo giudizio è stato confermato dalla II Camera civile del Tribunale d'appello del Cantone Ticino con sentenza del 6 agosto 2008.
C. Prevalendosi della violazione dell'art. 271a cpv. 1 lett. d CO, il 17 settembre 2008 A.A._ e B.A._ sono insorti davanti al Tribunale federale con un ricorso in materia civile volto a ottenere, previa concessione dell'effetto sospensivo al gravame, l'annullamento della sentenza cantonale.
Nelle osservazioni del 20 ottobre 2008 la locatrice propone di respingere il ricorso, mentre l'autorità cantonale ha rinunciato a determinarsi.
Al ricorso è stato riconosciuto l'effetto sospensivo con decreto del 22 ottobre 2008.

Diritto:
1. Il Tribunale federale si pronuncia d'ufficio e con pieno potere d'esame sulla propria competenza e sull'ammissibilità del rimedio esperito (<ref-law>; <ref-ruling> consid. 1.1 pag. 3).
1.1 II ricorso in materia civile è presentato tempestivamente (<ref-law>) da una delle parti in causa (<ref-law>) ed è volto contro una decisione cantonale finale (<ref-law>) di natura civile (<ref-law>).
1.2 Le controversie riguardanti la validità della disdetta di un contratto di locazione hanno carattere pecuniario e possono fare l'oggetto di un ricorso in materia civile se il valore litigioso raggiunge fr. 15'000.-- (<ref-law>).
Tale valore è dato dalla pigione dovuta per il periodo minimo durante il quale il contratto sussisterebbe se la disdetta non fosse valida, vale a dire durante i tre anni di protezione dell'art. 271a cpv. 1 lett. e CO, a far tempo dal termine di questa procedura giudiziaria (sentenza 4A_217/2007 del 4 settembre 2007, consid. 1). Considerato che nella fattispecie la pigione annua pattuita era di fr. 20'400.-- e che la Pretore l'ha ridotta di fr. 1'756.45 all'anno, il valore soglia è manifestamente superato.
1.3 I ricorrenti fanno valere, con motivazione adeguata (art. 42 cpv. 1 e 2 LTF; sulle esigenze di motivazione del ricorso cfr. in particolare <ref-ruling> consid. 2), una violazione dell'art. 271a lett. d CO. La censura è ammissibile (<ref-law>).
1.4 Così non è per le conclusioni. Dalla natura riformatoria del ricorso in materia civile (cfr. <ref-law>) deriva infatti l'obbligo per il ricorrente di presentare domande di merito, di precisare quali punti della sentenza cantonale sono impugnati e quali cambiamenti propone. Domande di semplice annullamento (o di rinvio all'istanza inferiore per nuovo giudizio) sono insufficienti e comportano l'inammissibilità del gravame (<ref-ruling> consid. 1.3; <ref-ruling>).
Nel loro allegato i ricorrenti chiedono solo l'annullamento della sentenza cantonale. Il loro gravame parrebbe quindi inammissibile d'entrata.
Tuttavia, come si vedrà, l'unica questione ancora litigiosa davanti al Tribunale federale è la validità della disdetta del 7 luglio 2003. Si potrebbe pertanto ammettere che i ricorrenti postulano, almeno implicitamente, I'annullamento di tale disdetta. La questione può rimanere indecisa perché il ricorso è comunque manifestamente infondato nel merito.
2. Giusta l'art. 271 a cpv. 1 lett. d CO la disdetta può essere contestata se è data durante un procedimento di conciliazione o giudiziario in relazione con la locazione, sempre che il conduttore non agisca in modo abusivo. La disdetta così viziata è annullabile.
Nella pronunzia criticata la Corte ticinese ha considerato che in concreto le condizioni per l'annullamento non sono adempiute, perché la giurisprudenza ammette la validità della ripetizione di una disdetta affetta da un vizio di forma. Quella notificata dalla locatrice il 7 luglio 2003 non era che la ripetizione di quella precedente, nulla perché non notificata separatamente a ogni coniuge (art. 266n/o CO).
2.1 I conduttori lamentano la violazione dell'art. 271a cpv. lett. d CO, sul quale il Tribunale di appello non avrebbe "preso posizione". Sostengono che il cpv. 3 della norma elenca in modo esaustivo i casi nei quali la presunzione legale del carattere abusivo della disdetta sarebbe inefficace. Riferendosi alla <ref-ruling> asseriscono che la validità della seconda disdetta andava esaminata sulla base delle circostanze del momento in cui è stata data, il 7 luglio 2003, quando erano pendenti le due procedure di conciliazione concernenti la contestazione della prima disdetta e di riduzione della pigione. Ignorandole, il Tribunale di appello avrebbe impedito loro di far valere delle pretese legittime, vanificate dalla seconda disdetta.
2.2 Dalla <ref-ruling> non è possibile trarre nessuna indicazione utile, non essendo in quel caso affatto in discussione un vizio di forma; oggetto del ricorso al Tribunale federale era la validità di una disdetta ordinaria del rapporto di locazione notificata quando era già pendente una procedura di conciliazione consecutiva a una prima disdetta straordinaria (<ref-law>) poi ritirata.
La fattispecie qui in esame è diversa. Non è contestato che la locatrice ha dato la seconda disdetta per rimediare al vizio di forma che rendeva nulla la prima (<ref-law>). In una situazione del genere le due istanze giudiziarie ticinesi hanno stabilito con ragione che viene a cadere la presunzione legale, istituita all'art. 271a cpv. 1 lett. d CO, del carattere abusivo della disdetta data durante il periodo di protezione (DAVID LACHAT, Le bail à loyer, 2008, n. 5.5.5 a pag. 748, citato nella sentenza cantonale, menziona espressamente l'ipotesi della nullità della disdetta per non-rispetto della formalità dell'<ref-law>). In effetti, con la seconda disdetta il locatore non manifesta un desiderio di vendetta ma pone semplicemente rimedio all'errore formale commesso in precedenza, esprimendo in maniera corretta la decisione di porre fine al contratto che in realtà risale a un periodo anteriore alla prima procedura di contestazione (sentenza 4C.432/2006 dell'8 maggio 2007 consid. 4.4 con riferimenti dottrinali, in RtiD 2008 I pag. 1055) e, in concreto, anteriore anche alla domanda di riduzione della pigione.
Il pericolo, per gli inquilini, di non potere fare valere tutte le loro pretese legittime non sussiste, giacché tutte le contestazioni possono essere portate davanti all'Ufficio di conciliazione nell'ambito della seconda procedura, com'è in effetti avvenuto.
La Corte cantonale ha di conseguenza applicato correttamente l'art. 271a cpv. 1 lett. d CO.
3. Nella misura in cui è ammissibile il ricorso è pertanto respinto.
Le spese giudiziarie e le ripetibili seguono la soccombenza (art. 66 cpv. 1 e 5 LTF, art. 68 cpv. 1, 2 e 4 LTF).

Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso è respinto.
2. Le spese giudiziarie di fr. 3'000.-- sono poste a carico dei ricorrenti, in solido, con l'obbligo di rifondere all'opponente, sempre con vincolo di solidarietà, fr. 3'500.-- a titolo di ripetibili della sede federale.
3. Comunicazione ai patrocinatori delle parti e alla II Camera civile del Tribunale d'appello del Cantone Ticino.