951年，史都华暂停大部分的工作，以陪伴怀孕的妻子。夫妇俩育有一对双胞胎女儿：茱蒂（Judy）与凯莉（Kelly）。此后吉米·史都华就以一家六口的照片，做为寄给亲友的圣诞卡。婚后的詹姆斯·史都华是花边新闻的绝缘体，他对妻子始终恩爱忠诚，与绯闻、外遇、离婚事件层出不穷的其他好莱坞众男星相形之下，显得十分难能可贵。他的两个妹妹，都是当时不多见的婚后职业妇女。史都华的继子罗纳德·麦克林海军陆战队中尉于越战时阵亡，得年24岁。女儿凯莉·史都华博士现任加州大学戴维斯分校人类学系教授。由于爱妻喜欢园艺及饲养小动