Zijn vader, Jacobus IV, werd gedood in de Slag bij Flodden Field (1513) toen Jacobus net één jaar oud was. Zijn moeder was Margaret Tudor. Jacobus werd onmiddellijk tot koning gekroond na de dood van zijn vader omdat de Schotten niet wilden dat zijn moeder, een Engelse, de macht over Schotland zou bezitten. Het land werd gedurende zijn jeugd geregeerd door regenten, eerst zijn moeder tot ze hertrouwde, en daarna John Stewart, hertog van Albany. De stiefvader van Jacobus V, Archibald Douglas, greep de macht, verjoeg regent John en zette Jacobus V gevangen in Edinburgh Castle. Maar toen Margaret hem verdreef, bevrijdde ze haar zoon en begon hij aan zijn eigenlijke ambt als koning.