Ludvigsen var innvalgt på Stortinget fra Troms 1989–2001, 2. nestleder i Høyre 1990–1991 og fiskeri- og kystminister i Kjell Magne Bondeviks andre regjering 2001–2005. På Stortinget var han leder i Stortingets næringskomité 1993–1997 og visepresident i Lagtinget 1997–2001. Før han ble innvalgt på Stortinget var Ludvigsen lokalpolitiker og banksjef i SpareBank 1 Nord-Norge i Tromsø.