Fatti: Fatti: A. Genitori di due figlie, nate rispettivamente nel 1994 e nel 1998, A.A._ e B.A._ si sono separati nel 2001 ed hanno divorziato il 28 ottobre 2005. La convenzione sulle conseguenze accessorie del divorzio prevede tra l'altro che i genitori esercitino congiuntamente l'autorità parentale e che le figlie trascorrano con il padre la metà dei fine settimana e delle vacanze scolastiche nonché, due volte al mese, i giorni dalla domenica sera al mercoledì mattina, rispettivamente dal mercoledì sera al giovedì mattina. Inoltre il padre versa un contributo di mantenimento mensile di fr. 1'500.-- per figlia sino al compimento dei tredici anni e successivamente di fr. 1'600.-- e contribuisce alle spese straordinarie nella misura del 60 %. A. Genitori di due figlie, nate rispettivamente nel 1994 e nel 1998, A.A._ e B.A._ si sono separati nel 2001 ed hanno divorziato il 28 ottobre 2005. La convenzione sulle conseguenze accessorie del divorzio prevede tra l'altro che i genitori esercitino congiuntamente l'autorità parentale e che le figlie trascorrano con il padre la metà dei fine settimana e delle vacanze scolastiche nonché, due volte al mese, i giorni dalla domenica sera al mercoledì mattina, rispettivamente dal mercoledì sera al giovedì mattina. Inoltre il padre versa un contributo di mantenimento mensile di fr. 1'500.-- per figlia sino al compimento dei tredici anni e successivamente di fr. 1'600.-- e contribuisce alle spese straordinarie nella misura del 60 %. B. Nel corso di un'audizione chiesta per avere delucidazioni sulle conseguenze fiscali della separazione, il 16 settembre 2002 l'Ufficio di tassazione di Lugano Campagna ha precisato a A.A._ che egli avrebbe potuto dedurre dal proprio reddito i contributi alimentari versati e che, considerato l'affidamento congiunto delle figlie, entrambi i genitori avrebbero beneficiato della relativa deduzione sociale in relazione ad una di esse e dell'aliquota attenuata per famiglie monoparentali. Questo regime, direttamente o dopo reclamo, è poi effettivamente stato applicato alle tassazioni 2001/2002, 2003A e 2003B. B. Nel corso di un'audizione chiesta per avere delucidazioni sulle conseguenze fiscali della separazione, il 16 settembre 2002 l'Ufficio di tassazione di Lugano Campagna ha precisato a A.A._ che egli avrebbe potuto dedurre dal proprio reddito i contributi alimentari versati e che, considerato l'affidamento congiunto delle figlie, entrambi i genitori avrebbero beneficiato della relativa deduzione sociale in relazione ad una di esse e dell'aliquota attenuata per famiglie monoparentali. Questo regime, direttamente o dopo reclamo, è poi effettivamente stato applicato alle tassazioni 2001/2002, 2003A e 2003B. C. Il 21 aprile 2006 l'Ufficio di tassazione ha notificato a A.A._ le decisioni concernenti l'imposta cantonale e l'imposta federale diretta per il periodo fiscale 2004. Esso ha ammesso la deduzione dal reddito (di fr. 135'024.--) degli alimenti versati per le figlie, per complessivi fr. 23'640.--, ma non ha accordato alcuna deduzione per figli a carico, chiesta per una delle due bambine e pari a fr. 10'400.-- per l'imposta cantonale e a fr. 5'600.-- per l'imposta federale diretta. L'autorità ha in effetti addotto che in presenza di versamenti di alimenti per le due figlie la questione della custodia congiunta risulta ininfluente. Essa ha poi negato anche la deduzione di fr. 30'000.--, prevista per ogni figlio a carico in materia di imposta cantonale sulla sostanza. Inoltre, sia per l'imposta federale diretta che per l'imposta cantonale ha applicato le aliquote ordinarie. D. Il 10 maggio 2006 l'Ufficio di tassazione ha respinto il reclamo interposto dal contribuente contro le decisioni di imposizione. L'autorità ha ribadito che se versa degli alimenti, il genitore separato o divorziato può dedurre integralmente i medesimi, ma non beneficiare della deduzione per i figli e della tariffa attenuata. L'interessato si è allora ulteriormente aggravato dinanzi alla Camera di diritto tributario del Tribunale d'appello del Cantone Ticino che, con sentenza del 10 ottobre 2006, ha tuttavia a sua volta confermato la tassazione. In sostanza, i giudici cantonali hanno rilevato che la soluzione adottata è conforme ad una circolare dell'Amministrazione federale delle contribuzioni, ripresa anche dalla Divisione cantonale delle contribuzioni e condivisa dalla dottrina. A loro giudizio, non vi sarebbe motivo di dipartirsi da questa prassi, anche perché, per quanto concerne l'affidamento delle figlie prima della pronuncia del divorzio, dagli atti risulterebbe che il padre disponeva semplicemente del più ampio diritto di visita. Inoltre il principio della buona fede non permetterebbe di pretendere che l'autorità fiscale mantenga il trattamento fiscale adottato nei primi anni di separazione. L'interessato si è allora ulteriormente aggravato dinanzi alla Camera di diritto tributario del Tribunale d'appello del Cantone Ticino che, con sentenza del 10 ottobre 2006, ha tuttavia a sua volta confermato la tassazione. In sostanza, i giudici cantonali hanno rilevato che la soluzione adottata è conforme ad una circolare dell'Amministrazione federale delle contribuzioni, ripresa anche dalla Divisione cantonale delle contribuzioni e condivisa dalla dottrina. A loro giudizio, non vi sarebbe motivo di dipartirsi da questa prassi, anche perché, per quanto concerne l'affidamento delle figlie prima della pronuncia del divorzio, dagli atti risulterebbe che il padre disponeva semplicemente del più ampio diritto di visita. Inoltre il principio della buona fede non permetterebbe di pretendere che l'autorità fiscale mantenga il trattamento fiscale adottato nei primi anni di separazione. E. Il 10 novembre 2006 A.A._ ha presentato un ricorso di diritto amministrativo dinanzi al Tribunale federale, con cui chiede di annullare la sentenza della Camera di diritto tributario. Domanda inoltre di correggere la notifica di tassazione sia per quanto riguarda l'imposta federale diretta che per l'imposta cantonale e, in via subordinata, di rinviare gli atti alla precedente istanza per nuovo giudizio. Dei motivi si dirà, per quanto necessario, nei considerandi. La Camera di diritto tributario del Tribunale d'appello e la Divisione delle contribuzioni del Cantone Ticino hanno formulato osservazioni, rinunciando però a presentare conclusioni formali. L'Amministrazione federale delle contribuzioni (Divisione principale imposta federale diretta, imposta preventiva, tasse di bollo) propone invece di respingere il ricorso.