Fatti: Fatti: A. Nel mese di marzo del 2005 è stato aperto un procedimento penale a carico del fiduciario A._ per promovimento della prostituzione, contravvenzione alla legislazione in materia di persone straniere, appropriazione indebita, amministrazione infedele, falsità in documenti e frode fiscale. Viste le implicazioni fiscali del caso, il 14 aprile 2005 il Procuratore pubblico l'ha segnalato alla Divisione delle contribuzioni del Cantone Ticino, trasmettendo i verbali d'interrogatorio. A. Nel mese di marzo del 2005 è stato aperto un procedimento penale a carico del fiduciario A._ per promovimento della prostituzione, contravvenzione alla legislazione in materia di persone straniere, appropriazione indebita, amministrazione infedele, falsità in documenti e frode fiscale. Viste le implicazioni fiscali del caso, il 14 aprile 2005 il Procuratore pubblico l'ha segnalato alla Divisione delle contribuzioni del Cantone Ticino, trasmettendo i verbali d'interrogatorio. B. Il 18 aprile 2005 l'Amministrazione dell'imposta federale diretta del Cantone Ticino ha ordinato a A._ di fornire una garanzia di fr. 345'000.--, più interessi, in relazione all'imposta federale diretta ed alle spese per gli anni fiscali 2003 e 2004. L'autorità ha ritenuto che nell'ambito dell'inchiesta penale erano emersi importanti elementi non dichiarati al fisco e che l'attività del contribuente era strutturata in maniera tale da poter sottrarre i beni patrimoniali all'imposizione fiscale. Il credito ed il pagamento dell'imposta apparivano quindi oggettivamente minacciati. Il giorno seguente una richiesta di garanzia, per fr. 226'666.--, è stata notificata anche ad una società di cui A._ è amministratore ed azionista unico, la B._SA. B. Il 18 aprile 2005 l'Amministrazione dell'imposta federale diretta del Cantone Ticino ha ordinato a A._ di fornire una garanzia di fr. 345'000.--, più interessi, in relazione all'imposta federale diretta ed alle spese per gli anni fiscali 2003 e 2004. L'autorità ha ritenuto che nell'ambito dell'inchiesta penale erano emersi importanti elementi non dichiarati al fisco e che l'attività del contribuente era strutturata in maniera tale da poter sottrarre i beni patrimoniali all'imposizione fiscale. Il credito ed il pagamento dell'imposta apparivano quindi oggettivamente minacciati. Il giorno seguente una richiesta di garanzia, per fr. 226'666.--, è stata notificata anche ad una società di cui A._ è amministratore ed azionista unico, la B._SA. C. Il 17 maggio 2005 A._ ha inoltrato un ricorso di diritto amministrativo al Tribunale federale, con cui chiede l'annullamento della richiesta di garanzia o, eventualmente, la sua riduzione a fr. 50'000.-- (per il parallelo ricorso della B._SA, cfr. inc. 2A.325/2005). C. Il 17 maggio 2005 A._ ha inoltrato un ricorso di diritto amministrativo al Tribunale federale, con cui chiede l'annullamento della richiesta di garanzia o, eventualmente, la sua riduzione a fr. 50'000.-- (per il parallelo ricorso della B._SA, cfr. inc. 2A.325/2005). D. L'Amministrazione dell'imposta federale diretta del Cantone Ticino ha proposto di respingere il ricorso, osservando in particolare che la gestione di locali in cui veniva svolta la prostituzione ha procurato al ricorrente, direttamente o per mezzo di società a lui riconducibili, un reddito stimabile in fr. 1'500'000.-- sia nel 2003 che nel 2004. In sede di replica, rispettivamente duplica, le parti hanno precisato le loro tesi, riconfermandosi nelle precedenti conclusioni. Con scritto ulteriore, il ricorrente ha contestato le deduzioni di un rapporto di polizia, prodotto con la duplica, sui presunti introiti della sua attività. Chiamata pure ad esprimersi, l'Amministrazione federale delle contribuzioni ha postulato a sua volta la reiezione dell'impugnativa. D. L'Amministrazione dell'imposta federale diretta del Cantone Ticino ha proposto di respingere il ricorso, osservando in particolare che la gestione di locali in cui veniva svolta la prostituzione ha procurato al ricorrente, direttamente o per mezzo di società a lui riconducibili, un reddito stimabile in fr. 1'500'000.-- sia nel 2003 che nel 2004. In sede di replica, rispettivamente duplica, le parti hanno precisato le loro tesi, riconfermandosi nelle precedenti conclusioni. Con scritto ulteriore, il ricorrente ha contestato le deduzioni di un rapporto di polizia, prodotto con la duplica, sui presunti introiti della sua attività. Chiamata pure ad esprimersi, l'Amministrazione federale delle contribuzioni ha postulato a sua volta la reiezione dell'impugnativa. E. Con decreto presidenziale del 15 giugno 2005, è stata respinta l'istanza di conferimento dell'effetto sospensivo formulata nel gravame.