1846年征集了多个建筑设计方案，伦威克的方案获得绝对多数支持。他当时的获胜设计方案的纸板模型现仍保存展示在古堡内。伦威克延请罗伯特·米尔斯参与了该建筑的部分内部设计。最初设计师计划用白色大理石建造，后改为黄色砂岩，但最终设计师和筹建委员会决定采用马里兰州蒙哥马利县塞内卡采石场采掘的深红色砂岩作为建筑主材。主要原因在于砂岩成本低于花岗岩和大理石。尽管砂岩便宜而且便于施工，但日晒雨淋对外墙的腐蚀会比较严重。有证据显示，古堡所使用的石材在采掘过程中曾用过奴隶，但尚无证据表明大楼的建设过程中用奴隶的参与。