婚後的詹姆斯·史都華是花邊新聞的絕緣體，他對妻子始終恩愛忠誠，與緋聞、外遇、離婚事件層出不窮的其他好萊塢眾男星相形之下，顯得十分難能可貴。他的兩個妹妹，都是當時不多見的婚後職業婦女。史都華的繼子羅納德·麥克林海軍陸戰隊中尉於越戰時陣亡，得年24歲。女兒凱莉·史都華博士現任加州大學戴維斯分校人類學系教授。由於愛妻喜歡園藝及飼養小動物，史都華就買下他們鄰戶的房地，把那裡原本的屋子拆除，將自家的庭院擴建出去，就在他們那座英國莊園造型、都鐸式的雅潔住宅前面。然而在另一方面，吉米·史都華開的車、日常衣著等，都相當簡樸，總是自己帶了飯盒到片場去，凡此又再次與其他好萊塢影星大相逕庭；史都華在所有的西部片，都戴同一頂他自己的牛仔帽。導演安東尼·曼開始注意到這一點，十幾年後，導演約翰·福特看到的還是同一頂帽子，福特也抱怨他不肯更換那頂翻了毛的牛仔帽，不過史都華依然故我。詹姆斯·史都華歷年來持續致力於慈善公益活動，對居住地加州及故鄉賓州的貢獻尤多，例如在洛杉磯聖莫尼卡、聖約翰健康中心兒童與家庭發展部門一處的捐款即以數百萬美元計。
凱莉·史都華是誰的女兒?