Джеймс Стюарт был старшим сыном Александра Стюарта, 4-го лорда-стюарда Шотландии, и Джин Макрори. В 1286 году, после смерти короля Александра III он стал одним из шести Стражей-регентов Шотландии при малолетней королеве Маргарет Норвежской. В период кризиса власти, наступившего после смерти Маргарет, Джеймс Стюарт был сторонником одного из главных претендентов на шотландский трон, Роберта Брюса, лорда Аннандейла. 9 июля 1297 года он, в числе других представителей шотландской знати, признал короля Англии Эдуарда I в качестве короля Шотландии, но когда в 1298 году Уильям Уоллес поднял восстание, Джеймс Стюарт немедленно примкнул к нему. После поражения Уоллеса в Битве при Фолкерке он продолжил борьбу, поддерживая Роберта Брюса, а затем его внука, будущего короля Роберта I Брюса.