James Stewart werd geboren als de zoon van Alexander Stewart en (mogelijk) Jean Macrory, de erfgename van Bute en Arran. In 1286 werd hij aangesteld als een van de Beschermheren van Schotland na de dood van koning Alexander III van Schotland. Vervolgens diende hij de Engelse koning Eduard I. Tijdens de Schotse Onafhankelijkheidsoorlog koos hij toch de zijde van William Wallace, maar nadat die verslagen was in de Slag bij Falkirk sloot hij zich aan bij Robert the Bruce.