James y la de su padre Jorge III, Buckingham House eran inadecuadas para sus necesidades.