Den nordlige delen av området ble først utviklet av Charles Fitzroy fra 1757, som kjøpte herregården Tottenhall. Øst- og vestsidene av Fitzroy Square ble designet av Robert Adam i 1794 og overlevde i deres opprinnelige form i portlandkalkstein, men ble endret i stor grad grunnet skadene på sørsiden under den andre verdenskrig. FitzRoy bygget for den øverste samfunnsklasse, men de flyttet snart sør-vestover til Belgravia og Mayfair, noe som førte til at de aristokratiske husene ble endret til verksteder, studioer og leiligheter som ble leid ut.