Fatti: A. A.a Con contratto del 3 settembre 2001 D._ ha affidato al costruttore A._ SA e al progettista B._, al quale è in seguito anche subentrato C._, la realizzazione delle opere di impresa generale per la costruzione di un edificio artigianale a X._. Il contratto specificava che l'opera avrebbe dovuto essere "eseguita secondo il preventivo generale dei costi di costruzione allegato alla presente, al prezzo netto di fr. 845'300.-- 'secondo il preventivo generale di spesa in data agosto 2001 (vedi descrizioni e condizioni allegate)'". Nel novembre 2002, quando buona parte della costruzione era ormai stata eseguita, i lavori sono stati interrotti per poi essere terminati da un'altra impresa. A.b Il 13 novembre 2003 la A._ SA, B._ e C._ hanno convenuto in giudizio innanzi al Pretore di Bellinzona D._ per ottenere il pagamento di fr. 457'560.80 (importo aumentato in sede di conclusioni a fr. 479'271.--), oltre interessi e spese, nonché l'iscrizione in via definitiva per tale importo di un'ipoteca legale degli artigiani e degli imprenditori. Il convenuto si è opposto alla petizione e ha dapprima domandato in via riconvenzionale la condanna degli attori al pagamento di un risarcimento danni di fr. 50'000.--, richiesta che, dopo essere stata aumentata a fr. 198'362.25, è stata abbandonata nelle conclusioni. Con sentenza 13 novembre 2009 il Pretore ha integralmente respinto la petizione, ordinando la cancellazione dell'ipoteca legale e mettendo a carico del convenuto la tassa di giustizia di fr. 9'500.-- e le spese di fr. 27'500.-- per l'azione principale. Ha per contro parzialmente accolto la domanda riconvenzionale, condannando gli attori a versare al convenuto fr. 88'935.40. B. In parziale accoglimento di un appello degli attori, la II Camera civile del Tribunale di appello del Cantone Ticino ha riformato, con sentenza 23 dicembre 2011, la pronunzia di primo grado nel senso che ha stralciato dai ruoli per desistenza la domanda riconvenzionale, ponendo la tassa di giustizia e le spese di fr. 300.-- a carico del convenuto, senza l'attribuire ripetibili agli attori. Ha invece lasciato invariati gli altri dispositivi del giudizio pretorile. Con riferimento all'azione principale la Corte cantonale ha considerato che dalla mercede globale di fr. 888'001.35 (composta di una mercede forfettaria di fr. 845'300.--, a cui sono stati aggiunti fr. 10'000.-- per opere supplementari riconosciute dal convenuto e fr. 32'701.35 per quelle accertate dal Pretore) andavano dedotti fr. 953'936.75 (fr. 617'086.20 di acconti versati, fr. 192'350.55 per lavori non eseguiti e fr. 34'700.-- per lavori eseguiti parzialmente nonché fr. 109'800.-- per l'eliminazione dei difetti). C. Con ricorso in materia civile del 3 febbraio 2012 gli attori postulano, previo conferimento dell'effetto sospensivo al gravame, la riforma della sentenza di appello nel senso che la petizione sia parzialmente accolta e il convenuto condannato a pagar loro fr. 242'502.80 (in subordine fr. 161'175.90), oltre interessi, che la tassa di giustizia di fr. 1'797.25 e le spese di fr. 19'662.15, che ascrivono all'azione principale, siano poste a carico delle parti in ragione di metà ciascuna, compensate le ripetibili. Chiedono inoltre che la tassa di giustizia di fr. 500.-- e le spese di fr. 8'137.85, che attribuiscono all'azione riconvenzionale, siano poste a carico del convenuto. I ricorrenti contestano che le parti abbiano concordato un prezzo fisso. Ritengono poi che le opere supplementari riconosciute dal convenuto non ammontavano a soli fr. 10'000.--, perché quest'ultimo non avrebbe validamente ritrattato l'ammissione processuale concernente un sovrapprezzo di fr. 77'551.90. Sostengono pure che i giudici cantonali avrebbero violato il diritto federale con riferimento alle deduzioni concernenti i costi per l'ultimazione dell'opera, i difetti e gli acconti versati. Impugnano infine la mancata attribuzione di ripetibili per l'azione riconvenzionale e la ripartizione delle spese fra tale procedura e quella dell'azione principale. La Presidente della I Corte di diritto civile ha accordato con decreto del 14 marzo 2012 effetto sospensivo al ricorso. Con risposta 11 aprile 2012 D._ propone la reiezione del ricorso, sostenendo pure che l'importo da dedurre dalla mercede forfettaria per i lavori eseguiti solo parzialmente non ammonterebbe a fr. 34'700.-- come stabilito dall'ultima istanza cantonale, ma a fr. 57'700.--. I ricorrenti hanno replicato su quest'ultimo punto con allegato del 20 aprile 2012, che ha portato a una duplica del 9 maggio 2012 dell'opponente.