Bygningen ble tegnet av Inigo Jones i 1619, og stod ferdig i 1622. John Webb bidro under byggefasen til designen.