谢尔比与他的最后一位妻子克莱奥（Cleo）结婚，而当时他的第六任妻子去世仅四个月。她比谢尔比小25岁，但最终依在谢尔比2012年去世前离婚。
参赛前的生活.谢尔比先前一直使用他的Willys汽车磨练了他的驾驶技巧 在德克萨斯州达拉斯就读伍德罗威尔逊高中（德克萨斯州达拉斯），他于1940年毕业于威尔逊。他曾在佐治亚理工学院就读航空工程项目。 然而，由于战争，谢尔比没有去学校并参加了美国陆军航空兵。
驾驶生涯.作为一名业余爱好者，谢尔比最初参加了一场朋友的赛事