Olsen ble født i Stockholm, men er oppvokst på Hitra. Han har siden vært bosatt på Tiller i Trondheim.