4年、1938年、1939年有过3任女友，分别是亨利·方达牵线、离婚的琴吉·罗杰斯、大他8岁、丈夫刚去世的诺玛·希拉、大他7岁、与丈夫分居多年的合作女星玛琳·黛德丽，很快都没有结果，对方且都是一生风流韵事不断的女子。1940年代初，或许曾与未婚的奥丽维亚·德哈维兰交往过，于史都华从军后就没有下文。此后史都华7、8年的影剧、军旅生涯，亦即他大部分的三十几岁时期，就维持着孤家寡人。1949年，41岁的詹姆斯·史都华，与31岁、相同宗教背景、受过良好教育的葛萝莉亚·哈翠克（Gloria Hatrick）在相识