Etter den store bybrannen i London 1666 flyttet samfunnet til Arundel House, hjemmet til hertugen av Norfolk. Det flyttet på nytt i 1710 til Crane Court i Strand, og for andre gang i 1780 til Somerset House. I 1857 flyttet samfunnet til Burlington House i Piccadilly hvor det forble til det flyttet til sitt nåværende lokalitet i Carlton House Terrace i 1967.