En tid støttet han den engelske tronkreveren Perkin Warbeck, og invaderte England for å støtte ham. Men han innså at fred mellom England og Skottland var det mest tjenlige for begge land, og i 1502 inngikk monarkene en avtale om «evig fred». Avtalen ble bekreftet gjennom ekteskap mellom Jakob og Margaret Tudor den 8. august 1503 i Holyrood Abbey i Edinburgh. Parets tre første barn døde som spedbarn. Sønnen James overlevde og etterfulgte ham som Jakob V; en siste sønn, Alexander, ble født etter kongens død og døde selv som spedbarn.