James, ni el Palacio de Kensington, o el de su difunto padre Buckingham House eran adecuadas para sus necesidades, se fue considerado ampliar aún más Carlton House.