Fatti:
A. A.A._ è stato direttore e presidente del consiglio di amministrazione della C._AG di Sant'Antonino fino alla fine del 2000 ed è poi rimasto presidente del consiglio di amministrazione anche dopo il suo pensionamento, fino alla fine del 2006. Nel 2001 ha fondato la D._Sagl con sede a Losone che, secondo il suo scopo sociale, si occupa da un lato di consulenza nel marketing e nel management e d'altro lato è attiva in campo artistico, in particolare nella gestione di gallerie d'arte. Sin dalla sua fondazione questa società, che non detiene alcuna partecipazione nella C._AG, registra delle perdite.
L'onorario quale presidente del consiglio di amministrazione della C._AG nel 2001 è stato fissato in fr. 75'000.-- (gli altri membri percepivano fr. 50'000.--) ed attribuito ancora ad A.A._ personalmente. Dal 2002 è invece stato accreditato, in ragione del medesimo importo, alla D._Sagl e dal 2004 è stato aumentato a fr. 150'000.--. Dalla D._Sagl A.A._ percepiva un salario annuale di fr. 12'000.--.
B. Distanziandosi dai dati indicati nella dichiarazione d'imposta, l'8 marzo 2006 l'Ufficio di tassazione di Locarno ha tassato i coniugi A._ per il periodo fiscale 2004 sulla base di un reddito imponibile di fr. 235'600.-- per l'imposta cantonale e comunale (e di una sostanza di fr. 18'714'000.--) e di fr. 243'100.-- per l'imposta federale diretta. Al riguardo è stato in particolare computato un onorario di fr. 75'000.-- per il mandato in seno al consiglio di amministrazione della C._AG, anche se tale retribuzione è stata formalmente percepita dalla D._Sagl.
Il reclamo interposto dai contribuenti contro questa decisione di tassazione è stato respinto, sul punto principale, il 19 luglio 2006. In tale occasione il reddito imponibile è stato corretto in fr. 225'000.-- per l'imposta cantonale e comunale ed in fr. 232'400.-- per l'imposta federale diretta. In sintesi, l'autorità di tassazione ha considerato che l'attribuzione dell'onorario del presidente del consiglio di amministrazione alla D._Sagl costituiva un apporto mascherato di capitale nella società e serviva all'interessato per eludere l'imposta sul reddito.
I contribuenti si sono ulteriormente aggravati dinanzi alla Camera di diritto tributario del Tribunale d'appello del Cantone Ticino. Con sentenza del 14 maggio 2007 la Corte cantonale ha tuttavia a sua volta respinto l'impugnativa, computando anch'essa l'onorario ad A.A._ personalmente e confermando l'adempimento dei presupposti di un'elusione d'imposta.
C. Con atto del 15 giugno 2007 denominato semplicemente "Beschwerde", A.A._ e B.A._ sono insorti dinanzi al Tribunale federale, chiedendo in sostanza che la pronuncia della Camera di diritto tributario sia annullata e che dal reddito imponibile sia esclusa la somma di fr. 75'000.--. Essi si richiamano all'ampio scopo sociale della D._Sagl e contestano che sia ravvisabile un'elusione d'imposta. Con scritto del 10 luglio 2007 hanno poi prodotto un promemoria relativo ad un colloquio avuto con l'Ufficio di tassazione.
D. Invitate ad esprimersi, la Divisione delle contribuzioni del Canton Ticino non ha inoltrato alcuna presa di posizione, la Camera di diritto tributario ha rinunciato a formulare richieste di giudizio, mentre l'Amministrazione federale delle contribuzioni propone di respingere il gravame.

Diritto:
1. 1.1 Considerato che la decisione impugnata è stata prolata in italiano, la presente sentenza viene redatta nella medesima lingua (<ref-law>; cfr. <ref-ruling> consid. 1; <ref-ruling> consid. 2).
1.2 Rivolta contro la decisione di un'autorità cantonale di ultima istanza in una causa di diritto pubblico, l'impugnativa in esame, tempestiva e presentata dai contribuenti toccati dal giudizio impugnato, è di massima ammissibile quale ricorso in materia di diritto pubblico ai sensi degli art. 82 segg. LTF, combinati con l'art. 146 della legge federale del 14 dicembre 1990 sull'imposta federale diretta (LIFD; RS 642.11) e con l'art. 73 della legge federale del 14 dicembre 1990 sull'armonizzazione delle imposte dirette dei Cantoni e dei Comuni (LAID; RS 642.14).
1.3 Con il rimedio esperito può in particolare venir censurata la violazione del diritto federale (<ref-law>), che di per sé il Tribunale federale applica comunque d'ufficio (<ref-law>; cfr. però <ref-ruling> consid. 1.4.1). L'accertamento dei fatti può invece venir contestato soltanto in maniera ristretta (<ref-law>) e la sentenza è di principio fondata sui fatti appurati dall'autorità inferiore (art. 105 cpv. 1 e 2 LTF). Nuovi fatti e nuovi mezzi di prova possono essere addotti soltanto se ne dà motivo la decisione dell'autorità inferiore (<ref-law>). Occorre inoltre che vengano presentati entro la scadenza del termine di ricorso o del termine eventualmente assegnato per l'inoltro di un atto di replica (art. 42 cpv. 3 e 102 cpv. 3 LTF; cfr. anche 130 II 493 consid. 2) e che non siano fatti accaduti dopo la pronuncia del giudizio impugnato o prove non ancora esistenti a tale momento (cosiddetti veri nova; <ref-ruling> consid. 2.1; cfr. anche <ref-ruling> consid. 2). In concreto, tanto nel caso dei documenti prodotti per la prima volta assieme al ricorso quanto in riferimento allo scritto presentato il 10 luglio 2007, uno o meglio più presupposti tra quelli indicati non risultano adempiuti. Nessuno di questi atti può pertanto venir preso in considerazione ai fini del giudizio.
1.4 Secondo l'art. 42 cpv. 1 e 2 LTF, l'atto di ricorso deve contenere le conclusioni della parte ricorrente ed i motivi su cui esse si fondano; nei motivi occorre spiegare in maniera concisa perché l'atto impugnato viola il diritto. Sotto questo profilo, non è richiesto che la motivazione sia ineccepibile. La stessa deve comunque essere riferita all'oggetto del litigio, in modo che dal ricorso emerga perché e su quali punti la decisione contestata viene impugnata (<ref-ruling> consid. 1.4; <ref-ruling> consid. 1.3; <ref-ruling> consid. 1.3.1). In relazione alla violazione di diritti fondamentali e di disposizioni di diritto cantonale, le esigenze di motivazione sono più severe, dato che, secondo l'<ref-law>, il Tribunale federale esamina simili censure soltanto se il ricorrente le ha sollevate e motivate (<ref-ruling> consid. 1.4.2; <ref-ruling> consid. 1.4). Nel caso specifico, una motivazione sufficientemente precisa è ravvisabile solo in parte; nella misura in cui i requisiti esposti risultano disattesi, il gravame è pertanto inammissibile.
I. Imposta federale diretta
2. 2.1 Secondo l'<ref-law>, tutti i guadagni derivanti da un rapporto di lavoro di diritto privato o di diritto pubblico, nonché tutte le entrate accessorie sono imponibili quali proventi da attività lucrativa dipendente. Tra questi proventi figurano anche le retribuzioni percepite in qualità di membro di un consiglio d'amministrazione (<ref-ruling> consid. 3 e 4; cfr. anche: sentenza 2A.468/1999 del 27 ottobre 2000, in: ASA 71 pag. 651, consid. 4; sentenza 2A.461/2002 del 2 giugno 2003 in: RDAF 2003 II pag. 656, consid. 3.1). Nello stesso senso l'onorario quale membro di un consiglio d'amministrazione percepito personalmente dal titolare del mandato costituisce un elemento del salario determinante ai sensi dell'art. 5 cpv. 2 della legge federale del 20 dicembre 1946 sull'assicurazione per la vecchiaia e per i superstiti (LAVS; RS 831.10; <ref-ruling> consid. 5.2; <ref-ruling> consid. 3).
Siccome per legge (cfr. l'<ref-law> nonché l'art. 120 dell'ordinanza del 17 ottobre 2007 sul registro di commercio [ORC; RS 221.411] e l'art. 41 della pregressa ordinanza omonima, del 7 giugno 1937 [RU 53 593]), solo le persone fisiche possono essere membri di consigli d'amministrazione (Peter Böckli, Schweizer Aktienrecht, 3a ed., Zurigo 2004, n. 32 ad § 13; Peter Forstmoser/Arthur Meyer-Hayoz/Peter Nobel, Schweizerisches Aktienrecht, Berna 1996, n. 7 ad § 27), è di principio a queste stesse persone che vanno attribuiti gli onorari percepiti per tale attività (Martin Wernli, in: Basler Kommentar zum Schweizerischen Privatrecht, Obligationenrecht II, 2a ed., Basilea/Ginevra/Monaco 2002, N. 38 ad art. 707). Mediante contratto può tuttavia venir pattuita la cessione della retribuzione alla persona giuridica che il titolare del mandato rappresenta in seno al consiglio d'amministrazione (Wernli, loc. cit., con riferimento alla sentenza della Corte di Giustizia del Canton Ginevra del 20 febbraio 1998, in: SJ 1998 pag. 627, consid. 5, e a Giovanni Schucany, Die Vertreter juristischer Personen im Verwaltungsrat einer Aktiengesellschaft, tesi Zurigo 1949, pag. 66). Vale pertanto la presunzione secondo cui l'onorario è devoluto personalmente all'amministratore. Questa presunzione viene comunque a cadere se, in base ad un obbligo di cessione, l'indennità viene percepita direttamente dalla persona giuridica rappresentata. In tal senso, nel caso giudicato di recente (<ref-ruling>) in cui il Tribunale federale, modificando la prassi seguita fino ad allora, ha ritenuto non soggette all'obbligo contributivo secondo la LAVS le remunerazioni versate direttamente alle persone giuridiche (anziché ai titolari del mandato), era stato sottoscritto un contratto per la prestazione di servizi ("Dienstleistungsvertrag") concernente tra l'altro la conduzione del consiglio di amministrazione da parte della società che assumeva il mandato. A questo riguardo l'onere della prova incombe evidentemente al titolare dell'incarico, rispettivamente alla società che riceve la retribuzione.
2.2 Nel caso di specie, è pacifico che il ricorrente ancora nel 2001 ha ricevuto dalla C._AG un onorario quale presidente del consiglio di amministrazione di fr. 75'000.--. Negli anni 2002 e 2003 la retribuzione per tale carica è rimasta analoga, ma è stata versata alla D._Sagl, mentre nel 2004 alla medesima società è stato accreditato un importo pari al doppio dell'indennità versata in precedenza. Durante tutti questi anni i compensi degli altri membri del consiglio d'amministrazione sono rimasti costanti a fr. 50'000.--. In base a tale prassi retributiva, l'autorità di tassazione ha ritenuto che nel 2004 solo la metà dell'importo versato, ovvero fr. 75'000.--, ricompensava la prestazione di servizi vari, mentre l'altra metà rappresentava l'onorario per l'attività di presidente del consiglio di amministrazione in quanto tale. In assenza di un accordo contrario chiaramente documentato, questo onorario andava computato al titolare del mandato a titolo personale. In virtù di quanto precedentemente esposto, tale valutazione, tutelata dall'istanza precedente, appare senz'altro condivisibile. Di conseguenza, non è necessario ricorrere al particolare costrutto giuridico dell'elusione d'imposta ed esprimere considerazioni al riguardo (cfr., su questo tema, Peter Locher, Rechtsmissbrauchsüberlegungen im Recht der direkten Steuern, in: ASA 75 [2006/07], pag. 675 segg., in part. pag. 678 segg.).
2.3 Le obiezioni che i ricorrenti sollevano non portano a conclusioni differenti. In particolare, essi sostengono che la D._Sagl era attiva non solo in campo artistico, ma si dedicava, secondo il suo scopo sociale, anche alla "consulenza nel management". L'intero importo di fr. 150'000.-- le sarebbe perciò stato versato per queste prestazioni. Riferendosi all'ampio scopo della società, gli insorgenti tuttavia non dimostrano l'esistenza di accordi contrattuali da cui risulterebbe l'obbligo, per il titolare del mandato di amministrazione, di cedere le relative indennità. Certo, nel ricorso si accenna a contratti di consulenza ("Beratungsverträgen") tra la C._AG e la D._Sagl, ma gli stessi, quand'anche fossero effettivamente stati stipulati, non figurano in ogni caso agli atti.
Considerato che il computo del provento litigioso tra i redditi dei ricorrenti si impone già per l'assenza di prove in merito ad eventuali accordi di cessione, non occorre evidentemente entrare nel merito delle censure addotte contro la tesi di un'elusione dell'imposta, su cui si è tra l'altro fondata la Corte cantonale. Giova comunque rilevare che anche nella già citata <ref-ruling> viene riservato il caso di strutture contrattuali e societarie abusive. Nel caso specifico colpisce il fatto che le retribuzioni versate dalla D._Sagl al ricorrente hanno carattere solo simbolico e che la società stessa registra da anni solo perdite. Sembrerebbe dunque ben difficile porre in dubbio che i ricorrenti hanno agito nell'intento di conseguire un risparmio d'imposta.
2.4 Ne segue che in riferimento all'imposta federale diretta il ricorso in materia di diritto pubblico, nella misura in cui è ammissibile, deve essere respinto.
II. Imposta cantonale e comunale
3. L'<ref-law> dispone che all'imposta sul reddito sottostà la totalità dei proventi periodici o unici, segnatamente anche di quelli conseguiti mediante un'attività lucrativa dipendente. La norma è ripresa in modo coerente dall'art. 16 cpv. 1 della legge tributaria del Canton Ticino, del 21 giugno 1994 (LT). Entrambe le disposizioni hanno sostanzialmente il medesimo tenore dell'<ref-law>. Quanto affermato in relazione all'imposta federale diretta vale pertanto anche per l'imposta cantonale. L'esito del gravame è quindi analogo.
III. Spese e ripetibili
4. In quanto soccombenti, i ricorrenti vanno astretti al pagamento delle spese giudiziarie, con responsabilità solidale (art. 65 e 66 cpv. 1 e 5 LTF). Non si assegnano ripetibili ad autorità vincenti intervenute in causa nell'esercizio delle loro attribuzioni ufficiali (<ref-law>).

Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso in materia di diritto pubblico è respinto.
2. Le spese giudiziarie di fr. 3'000.-- sono poste a carico dei ricorrenti, in solido.
3. Comunicazione alla rappresentante dei ricorrenti, alla Divisione delle contribuzioni e alla Camera di diritto tributario del Tribunale d'appello del Cantone Ticino, nonché all'Amministrazione federale delle contribuzioni, Divisione principale imposta federale diretta, imposta preventiva, tasse di bollo.