Sylling Olsen begynte sin fotballkarriere hos Bakke IF i Skotselv før han i en alder av 15 år flyttet til Mjøndalen, hvor han begynte å spille for Mjøndalen IF. I 2004 flyttet han til Oslo for å studere, og meldte derfor overgang til Drøbak/Frogn, som da spilte i 2. divisjon. Etter å ha markert seg for Drøbak/Frogn i 2006-sesongen ble Sylling Olsen hentet av Kongsvinger i forkant av 2007-sesongen, hvor han skrev under på en ettårskontrakt.