Fiskeridepartementet skiftet navn til Fiskeri- og kystdepartementet den 18. juni 2004. Ludvigsen forble sjef for departementet frem til 17. oktober 2005, etter at regjeringen mistet støtte i Stortinget etter stortingsvalget 2005.