James Maitland Stewart néven látta meg a napvilágot 1908. május 20-án. Anyja, Elizabeth Ruth Johnson (1875–1953) kiváló zongorista és apja, Alexander Maitland Stewart (1871–1961) bolttulajdonos, így fiuk főként skót származású, presbiteriánus vallású volt. Veterán ősei részt vettek az amerikai forradalomban, az 1812-es brit-amerikai háborúban, és az amerikai polgárháborúban. Édesapja harcolt a spanyol–amerikai háborúban és az első világháborúban.