Madsen debuterte i Tippeligaen for Sandefjord Fotball 17. juli 2006 mot Molde på Storstadion (5–2 til Sandefjord og ett mål av Madsen), og spilte semifinale i NM mot Rosenborg på Lerkendal for Sandefjord Fotball i 2006 (5–2 til Sandefjord og ett mål av Madsen). I 2007 etablere han seg raskt på A-laget til Sandefjord Fotball, og fikk god kritikk fra egen trener etter kampen mot Viking 22. april.