要就读海军学院，希望能成为海军飞行员，但未得到父亲同意。詹姆斯·史都华的中学毕业于，1932年詹姆斯·史都华毕业于普林斯顿大学建筑系。史都华的中学及大学时期，在学校社团都极为活跃，因为从小就专长演奏手风琴，所以加入学校的管弦乐团。他亦是美式足球队、棒球队、田径队队员，擅长跳高、掷标枪，尤其更是长跑健将。他还是唱诗班及合唱团团员、童军团成员及终身的支持者、年鑑的美术编辑、文学协会的成员，他也有写诗的天份，并在多年后出版诗集。史都华的中学暑假曾在建筑公司工读、参与过铺路及道路划线的工作，另一个暑假他充当一名