Em Agosto de 2001, Inagaki se envolveu em uma briga no trânsito e foi acusado de irregularidades por sua parte. Por essa razão, ele se retirou dos holofotes públicos e seus comerciais, tie-ins e aparições na TV foram canceladas. Em 2004, retornou à fama através de um drama sobre um banqueiro de investimento fictício morto nos ataques de 11 de Setembro. Houve boatos sobre o fim do grupo após o anúncio do casamento de Takuya Kimura e o envolvimento de Goro Inagaki em tal confusão.