Med unntak av et kort opphold i Start spilte han i Fyllingen frem til 1994 da han gikk til Brann. Han etablerte seg raskt også på Brann som en kvalitetsspiller i forsvaret. I 1995 havnet han imidlertid ute i kulden etter å ha opponert mot trener Hallvar Thoresen sammen med Frank Strandli og Trond Egil Soltvedt. Degraderingen til rekruttlaget var straffen. Den nye treneren Kjell Tennfjord fikk imidlertid bragt Ludvigsen og Strandli tilbake på A-laget igjen og klarte å få til en forsoning mellom styret og de to. Ludvigsen gjorde en sterk høstsesong for Brann-laget, men 95-sesongen ble likevel den siste han hadde som aktiv spiller i Brann. Hele 1996-sesongen var han borte grunnet skader, og han valgte etter det å legge opp.