1783年，乔治首次访问布赖顿，进行海水物理治疗痛风。1786年他租下一间农舍。1815年—1822年 ，建筑师约翰·纳西重新设计宫殿，今天看见的就是他的作品。宫殿就在布赖顿的中心。外观受到印度伊斯兰建筑风格(莫卧儿王朝)的强烈影响，有点类似印度的泰姬陵。富于幻想的内部设计，基本上出自弗雷德里克·格雷斯（Frederick Crace）和罗伯特·琼斯（Robert Jones），内部装饰和摆设则充满中国情调。这是个完美异国情调的例证，是对摄政风格更加古典的主流口味的一种变通办法。乔治四世死后，他的继