Fatti: Fatti: A. I coniugi A.A._ e B.A._, di nazionalità italiana, risiedono da diversi anni nel Luganese. Il marito esercita l'attività di commerciante ed ha in particolare operato nel traffico internazionale e nel contrabbando di sigarette. Nelle notifiche di tassazione per i bienni fiscali 1997/1998, 1999/2000 (cresciute in giudicato) e 2001/2002 (contro cui è pendente reclamo), il loro reddito imponibile è stato stabilito nell'ordine di alcune centinaia di migliaia di franchi. In relazione all'imposta federale diretta, essi hanno corrisposto, da ultimo, il capitale dell'imposta dovuta per il 1997; non hanno per contro versato né interessi e spese inerenti a detto tributo, né le imposte per gli anni successivi. Dopo aver venduto nel 2001 e nel 2002 due appartamenti a Lugano a lei intestati, il 19 settembre 2003 la moglie ha costituito in favore di terzi un diritto di compera su di un altro immobile di sua proprietà, e di valore milionario, sito nel medesimo comune. Il diritto di compera è stato esercitato il 19 gennaio 2004. A. I coniugi A.A._ e B.A._, di nazionalità italiana, risiedono da diversi anni nel Luganese. Il marito esercita l'attività di commerciante ed ha in particolare operato nel traffico internazionale e nel contrabbando di sigarette. Nelle notifiche di tassazione per i bienni fiscali 1997/1998, 1999/2000 (cresciute in giudicato) e 2001/2002 (contro cui è pendente reclamo), il loro reddito imponibile è stato stabilito nell'ordine di alcune centinaia di migliaia di franchi. In relazione all'imposta federale diretta, essi hanno corrisposto, da ultimo, il capitale dell'imposta dovuta per il 1997; non hanno per contro versato né interessi e spese inerenti a detto tributo, né le imposte per gli anni successivi. Dopo aver venduto nel 2001 e nel 2002 due appartamenti a Lugano a lei intestati, il 19 settembre 2003 la moglie ha costituito in favore di terzi un diritto di compera su di un altro immobile di sua proprietà, e di valore milionario, sito nel medesimo comune. Il diritto di compera è stato esercitato il 19 gennaio 2004. B. II 23 gennaio 2004 l'Amministrazione dell'imposta federale diretta del Cantone Ticino ha notificato a A.A._ una richiesta di garanzia per fr. 467'813.30, con interessi del 4 % dal 24 settembre 2003 su fr. 421'835.--, per gli anni fiscali dal 1997 al 2003. Il provvedimento è stato adottato con la motivazione seguente: "Il credito erariale sembra essere minacciato. I coniugi A._ sembrerebbero essere in trattativa per alienare le proprietà immobiliari con l'intento di lasciare la Svizzera. Il loro patrimonio è costituito in maniera tale da sottrarre i beni all'eventuale esecuzione del fisco, rendendo la stessa più difficile. Il marito ha investito somme considerevoli nella proprietà immobiliare della moglie, sia per l'acquisto della stessa sia per la sua manutenzione, così come per il servizio degli interessi ipotecari". II medesimo giorno una decisione analoga è stata notificata anche alla moglie B.A._. II medesimo giorno una decisione analoga è stata notificata anche alla moglie B.A._. C. Con ricorso di diritto amministrativo del 20 febbraio 2004 A.A._ insorge ora dinanzi al Tribunale federale: chiede che sia annullata la richiesta di garanzia e che sia accertato il decadimento del decreto di sequestro e delle relative procedure esecutive. Chiamata ad esprimersi, l'Amministrazione dell'imposta federale diretta del Cantone Ticino ha proposto di respingere il ricorso. In sede di replica, rispettivamente duplica, le parti hanno precisato le loro tesi, riconfermandosi nelle precedenti conclusioni. Da ultimo, l'Amministrazione federale delle contribuzioni ha dichiarato di aderire alle prese di posizione dell'autorità cantonale. L'analogo ricorso di B.A._ è trattato parallelamente nella causa 2A.109/2004.