Ellefsen har spilte forsvar og midtbane for Hønefoss Ballklubb fra 2000 og ut 2009-sesongen, da klubben ikke fornyet kontrakten med han. Han kom fra Vålerenga i 1999. Han startet karrieren i (IBK), før han gikk over elva til Mjøndalen IF. Strømsgodset ville kjøpe den talentfulle stopperen høsten 2006, men Ellefsen skrev i stedet under på en ny avtale med Hønefoss BK.