Olesen startet karrieren i Ølstykke FC, og gikk til Brøndby IF innen han ble seniorspiller. Han spilte første kamp i Superligaen 6. september 2000. Han var med da klubben vant serien i 2001/2002, samt da klubben vant dansk cup i 2003.