1923年以前，他和他的父亲托马斯·吉布森·沃尔顿，母亲南希·李住在他们的农场。因为农场并不能给他们家庭带来足够的收入，所以他的父亲决定重返以前抵押贷款人的岗位工作。他们全家（父亲、母亲、山姆，和另一个1921年出生的儿子詹姆斯）从俄克拉荷马州，搬到了密苏里州。当山姆上八年级的时候，山姆成为该州历史上最年轻的鹰级童军。成年后，山姆获得美国童军组织颁发的杰出鹰级童子军奖。在大萧条时期长大的山姆，靠打工来帮助家庭解决入不敷出的经济。他在农场里挤牛奶、装瓶，然后送牛奶。另外还送《哥伦比亚每日论坛报》和销售