Kong Jakob I av England (og VI av Skottland) gjorde betydelige endringer i bygningene, særlig byggingen i 1622 av den nye festsalen, Banqueting House, utformet av Inigo Jones for å erstatte en rekke eldre festsaler fra tiden til Elizabeth I. Utsmykningen sto ferdig i 1634 med ferdigstillelsen av et tak av den flamske kunstneren Peter Paul Rubens, på oppdrag fra Karl I av England (som faktisk kom til å bli henrettet foran bygningen i 1649). I 1650 var Whitehall Palace det største komplekset av sekulære bygninger i England, med mer enn 1500 rom. Dens utforming var uregelmessig, og dens bestanddeler var av mange forskjellige størrelser og i flere forskjellige arkitektoniske stiler, noe som fikk den til å se mer ut som en liten by enn en enkelt bygning. Uregelmessigheten i bygningene ble økt av hoffmenns forkjærlighet for å bygge på deres tildelte residens, enten for egen regning eller kongens. Stephen Fox, ansvarlig for å organisere reiser og assistere administrasjonen av den kongelige husholdning under den tradisjonelle tittelen , fikk tillatelse fra Office of Works på 1660-tallet til å bygge tillegg til de tre rommene han ble tildelt. Da han var ferdig, hadde han bygget et storslått herskapshus med vognhus, staller og utsikt over Themsen, alt innenfor palassnettverket.