Han ble første gang valgt inn i kommunestyret i Eid kommune i 1991. Han ble medlem av formannskapet i 1999 og ordfører i 2003. I 2005 ble han innvalgt på Stortinget på et utjevningsmandat, som Venstres første stortingsrepresentant fra Sogn og Fjordane siden 1969. Ludvigsen satt i Stortingets helse- og omsorgskomité. Han var på nytt Venstres stortingskandidat i 2009, men sikret seg ikke et distriktsmandat, og hadde ingen mulighet til å gjenvinne utjevningsmandatet da Venstre nasjonalt falt under sperregrensen.