Howard University
退伍后，索维尔在华盛顿特区从事公务员工作，并参加了霍华德大学的夜校课程，这是一所历史悠久的黑人学院。他在大学理事会考试中的高分以及两位教授的推荐帮助他被哈佛大学录取，并于1958年以优异的成绩毕业，获得经济学文学学士学位。第二年，他获得了哥伦比亚大学的硕士学位。