Selv om hans metoder var effektive skapte de også fiender. Mot slutten av hans regjeringstid førte dette til at det oppstod tvil om hans krav på tronen. Hans bestefar, Robert II, hadde vært gift to ganger. Det første ekteskapet, med Jakobs bestemor Elizabeth Mure, var vanskelig, og det var tvil om hvorvidt det var gyldig. Det oppstod en konflikt mellom etterkommere av første ekteskap som kanskje var uektefødt, og de fra annet ekteskap som garantert var ektefødt. 21. februar 1437 nådde striden nye høyder da en gruppe skotter ledet av Robert Graham myrdet Jakob i Prekebrødrenes kloster i Perth. Kongen forsøkte å rømme gjennom kloakken, men glemte at han tre dager før hadde fått den gjenmurt i den andre enden fordi baller fra tennisbanen utenfor stadig forsvant.