Olsen spilte for , (-) og , der han ble hedret med klubbens hederstegn. Han var også daglig leder i Buskerud Fotballkrets.