Fatti: Fatti: A. Il 23 dicembre 1994 D._ (locatore) ed A._ (conduttore) hanno sottoscritto un contratto di locazione, con effetto a partire dal 1° gennaio 1995, avente per oggetto la casa di abitazione, il giardino, il piazzale posteggio e la ripa boschiva siti in Via XXX. Il contratto, di durata quinquennale - e in seguito rinnovabile di anno in anno in assenza di disdetta - prevedeva una pigione annua di fr. 50'000.--, da versarsi "anticipatamente ed in un'unica soluzione al 31.12 di ogni anno locativo". A. Il 23 dicembre 1994 D._ (locatore) ed A._ (conduttore) hanno sottoscritto un contratto di locazione, con effetto a partire dal 1° gennaio 1995, avente per oggetto la casa di abitazione, il giardino, il piazzale posteggio e la ripa boschiva siti in Via XXX. Il contratto, di durata quinquennale - e in seguito rinnovabile di anno in anno in assenza di disdetta - prevedeva una pigione annua di fr. 50'000.--, da versarsi "anticipatamente ed in un'unica soluzione al 31.12 di ogni anno locativo". B. Quattro giorni dopo, il 27 dicembre 1994, A._ ha concesso a D._ un mutuo di fr. 500'000.--, da restituirsi di principio entro la data di scadenza della locazione, fissata per il 31 dicembre 1999. Contestualmente al predetto accordo le parti hanno convenuto che, in caso di mancata riconsegna del mutuo nel termine prestabilito, il contratto di locazione si sarebbe rinnovato tacitamente per ulteriori cinque anni "a partire dal 1° gennaio 2000 (...) alle condizioni di canone di quello attuale, fino a decurtare per intero le somme tutte ancora a debito che risulteranno dovute al sig. A._ dal sig. D._. Al verificarsi quindi di questa evenienza, già da questa data viene pattuito espressamente che tutti i canoni di affitto futuri dovuti in forza del contratto di affitto al sig. D._, saranno considerati già pagati anticipatamente dal sig. A._, e quindi conteggiati a scalare in conto affitto tutte le somme da questi anticipate." D._ si è inoltre impegnato a non disdire il contratto sino all'integrale retrocessione della somma ricevuta. Dato che il mutuo non è stato reso entro il 31 dicembre 1999, il contratto di locazione si è tacitamente rinnovato per ulteriori cinque anni. Dato che il mutuo non è stato reso entro il 31 dicembre 1999, il contratto di locazione si è tacitamente rinnovato per ulteriori cinque anni. C. Nel febbraio 2001 l'immobile oggetto della locazione è stato aggiudicato a C._ a seguito di una procedura esecutiva in via di realizzazione del pegno. Subentrata per legge nel contratto di locazione, il 17 marzo 2003 la nuova proprietaria ha diffidato A._ e la sua convivente B._ al pagamento della pigione relativa agli anni 2002 e 2003. Non avendo ottenuto alcun riscontro, il 18 aprile 2003 essa ha poi disdetto il contratto ex art. 257d CO, con effetto al successivo 31 maggio 2003. Preso atto del fatto che i conduttori - i quali nel frattempo avevano contestato la disdetta dinanzi al competente Ufficio di conciliazione - non avevano provveduto a lasciare l'ente locato alla scadenza del termine di disdetta, il 12 giugno 2003 C._ ha domandato il loro sfratto. Con sentenza 22 settembre 2003 il Segretario assessore della Pretura di Mendrisio-Sud ha accolto l'istanza di contestazione della disdetta e respinto quella di sfratto. Aderendo all'argomentazione dei conduttori/convenuti, il giudice ha infatti ammesso il trasferimento dell'accordo 27 dicembre 1994 alla nuova proprietaria/attrice, indi per cui l'importo versato a titolo di mutuo, di fr. 500'000.--, valeva quale pagamento anticipato delle pigioni dovute sino al 31 dicembre 2004. Preso atto del fatto che i conduttori - i quali nel frattempo avevano contestato la disdetta dinanzi al competente Ufficio di conciliazione - non avevano provveduto a lasciare l'ente locato alla scadenza del termine di disdetta, il 12 giugno 2003 C._ ha domandato il loro sfratto. Con sentenza 22 settembre 2003 il Segretario assessore della Pretura di Mendrisio-Sud ha accolto l'istanza di contestazione della disdetta e respinto quella di sfratto. Aderendo all'argomentazione dei conduttori/convenuti, il giudice ha infatti ammesso il trasferimento dell'accordo 27 dicembre 1994 alla nuova proprietaria/attrice, indi per cui l'importo versato a titolo di mutuo, di fr. 500'000.--, valeva quale pagamento anticipato delle pigioni dovute sino al 31 dicembre 2004. D. Adita dalla soccombente, il 15 marzo 2004 la II Camera Civile del Tribunale d'appello del Cantone Ticino ha riformato la pronunzia di primo grado, ordinando lo sfratto immediato dei convenuti sotto comminatoria dell'azione penale (art. 292 CP), riservati il risarcimento del danno e l'esecuzione forzata. D. Adita dalla soccombente, il 15 marzo 2004 la II Camera Civile del Tribunale d'appello del Cantone Ticino ha riformato la pronunzia di primo grado, ordinando lo sfratto immediato dei convenuti sotto comminatoria dell'azione penale (art. 292 CP), riservati il risarcimento del danno e l'esecuzione forzata. E. Postulando la modifica della predetta sentenza nel senso di una conferma delle conclusioni di prima istanza, il 9 aprile 2004 A._ e B._ sono insorti dinanzi al Tribunale federale con un ricorso per riforma fondato sulla violazione degli art. 151, 257d e 261 CO. Con risposta 16 giugno 2004 C._ ha proposto la reiezione del gravame.