James Maitland Stewart urodził się 20 maja 1908 w rodzinnym domu przy 975 Philadelphia Street w Indianie w stanie Pensylwania. Imię otrzymał po dziadku ze strony ojca. Był trzecim dzieckiem i jedynym synem Elizabeth „Bessie” Ruth (z domu Jackson; 1875–1953) i Alexandra „Aleca” Maitlanda Stewarta (1872–1962). Miał dwie młodsze siostry – Mary „Doddie” Wilson (1912–1977) oraz Virginię „Ginny” Kelly (1914–1972). Jego rodzina, posiadająca szkockie korzenie, od wielu pokoleń mieszkała w Pensylwanii. Przodkowie ze strony matki przybyli na amerykańską ziemię w 1773, regularnie biorąc udział w rewolucjach, włączając w to m.in. wojnę brytyjsko-amerykańską (1812–1815) i wojnę secesyjną (1861–1865). Matka, Elizabeth „Bessie” Ruth, była jednym z pięciorga dzieci Mary Easton Jackson (z domu Wilson; 1844–1916) i pułkownika Samuela McCartneya Jacksona (1833–1907), uczestnika bitwy pod Gettysburgiem (1863). Ruth od najmłodszych lat przejawiała talent muzyczny; była uzdolnioną pianistką. Przez piętnaście lat, w każdą niedzielę grała na organach w miejscowym Apollo Presbyterian Church.