1949 թվականին ամուսնանում է նախկին ֆոտոմոդել Գլորիա Մակլինի հետ և որդեգրում նրա երեխաներին։ Ջեյմս Ստյուարտը ԱՄՆ-ի Հանրապետական կուսակցության անդամ էր և նույնիսկ դրա հետ կապված նա երբեմն տարաձայնություններ է ունենում իր լավագույն ընկերոջ՝ Հենրի Ֆոնդայի հետ։