Bygningen ble oppført omkring år 1674 på oppdrag av den daværende landshøvdingen Henrik Falkenberg. Huset er flankert av to fløypaviljonger mot gårdssiden. Vest for slottet ble det ved oppføringen anlagt en barokkhage med bl.a. hekker, dammer og alléer. Hagen gikk helt ned til den daværende Kyrksjöen, omtrent der Stockholmsmässan nå ligger. Slottet Sandemar ved Dalarö, som ble oppført av landshøvdingens bror, har mange ytre likheter med Örby slott.