Ludvigsen ble utnevnt til fiskeriminister og leder av Fiskeridepartementet under Kjell Magne Bondeviks andre regjering den 19. oktober 2001. Det ble reist spørsmål ved hans habilitet som fiskeri- og kystminister fordi hans bror, Kåre Ludvigsen, var nestleder av Norges Sildesalgslag og eide flere fiskefartøyer.