Koning Henry VIII het die paleis laat bou op die plek waar ’n hospitaal vir melaatses eers gestaan het. Hy het dit opgedra aan die apostel Jakobus. Die hospitaal het tot in 1532 bestaan.
Die eerste drie Georges het die paleis as hul hoofwoning in Londen gebruik, hoewel dit nie juis deftig was vir die stadspaleis van ’n Europese monarg nie. In 1809 het ’n brand ’n deel van die paleis verwoes, onder andere die monarg se private woongedeelte in die suidoostelike hoek. George III het Buckingham House, nou Buckingham-paleis, in 1762 vir sy vrou gekoop en Sint James het al hoe onbelangriker geword in die eerste helfte van die 19de eeu. Dit is al hoe meer net vir amptelike funksies gebruik soos amptelike onthale, koninklike troues en doopplegtighede. Koningin Victoria het in 1837 finaal na Buckingham-paleis getrek en dit was die einde van Sint James as die monarg se amptelike woning.