塞斯达度过，在南卡罗来纳州詹姆斯岛的查尔斯顿郊区长大。科拜尔和他的兄弟姐妹，按年龄递减顺序分别是詹姆斯三世、爱德华、玛丽、威廉、马戈、托马斯、杰伊、伊丽莎白、保罗、彼得和斯蒂芬。他的父亲小詹姆斯·威廉·科尔伯特是免疫学家，曾在耶鲁大学、圣路易斯大学担任医学院院长，最后在南卡罗来纳医科大学担任院长，从1969年开始，他担任该校第一任学术事务副校长。 斯蒂芬的母亲洛娜·伊丽莎白·科尔伯特（née Tuck）是一位家庭主妇。在采访中，科拜尔曾描述他的父母是虔诚的人，他们也非常重视主知主义，并教导他们的孩子可以