邻居的交往，童年时的奥尔森毫不费力地学会了意第绪语。几年后，他参加犹太社区活动时，已经能够说一口流利的意第绪语了，因此之后他只在选举办公室找了几名犹太人作咨询顾问。1909年，奥尔森从明尼阿波利斯的北部社区高中毕业后，前往了局工作。次年，他就读于明尼苏达大学，但仅读了1年就离开了。在此期间，由于穿戴圆顶礼帽违法了校规，且拒绝参加所要求的的训练，他总是麻烦不断。向西出发，他在华盛顿的西雅图短暂定居下来之前，在加拿大和阿拉斯加打了一系列的零工。他在西雅图当了一名码头装卸工，并在此期间加入了世界产业工人联