Ջեյմս Մայթլանդ Ստյուարտը ծնվել է 1908 թվականի մայիսի 20-ին Ինդիանա նահանգի Փենսիլվանիա քաղաքում։ Նրա հայրը խանութպան էր, և նրա նախնիները նույնպես խանութպան էին։ Հայրը ցանկանում էր, որ որդին շարունակի իրենց ընտանեկան գործը, սակայն Ջեյմսը ընտրում է դերասանի ուղին։ 1928 թվականին նա ավարտում է Փրինսթոնի համալսարանը՝ ստանալով ճարտարապետի որակավորում, սովորելու տարիներին հանդես գալով սիրողական բեմերում և երաժշտական ակումբներում։ Նրա դերասանական տաղանդը դրսևորվում է հենց ուսանողական տարիներին. նրան միշտ հրավիրում էին խաղալու համալասրանի կողմից կազմակերպվող սիրողական ներկայացումներում։