Som guttespiller hørte Olsen til Varde Idrettslag. Han spilte deretter for Gjøvik-Lyn. Som 17-åring gikk Olsen i 2006 til Tottenham, etter at flere andre europeiske toppklubber som Chelsea, Barcelona, Bayern München og Liverpool også hadde ønsket unggutten. Ifølge avisen VG var overgangssummen på mellom 1 og 1,5 millioner kroner, et beløp som ville stige dersom Olsen ble førstelagsspiller.