父亲是挪威人，母亲是瑞典人，他是他们唯一的孩子。奥尔森在城北区成长，这是一个庞大的正统犹太聚居区。奥尔森和当地一些犹太家庭建立起了友谊，因此他当起了犹太人的助手，帮助犹太人在安息日做他们禁止做的事。由于与犹太人邻居的交往，童年时的奥尔森毫不费力地学会了意第绪语。几年后，他参加犹太社区活动时，已经能够说一口流利的意第绪语了，因此之后他只在选举办公室找了几名犹太人作咨询顾问。1909年，奥尔森从明尼阿波利斯的北部社区高中毕业后，前往了局工作。次年，他就读于明尼苏达大学，但仅读了1年就离开了。在此期间，由于穿