纪念馆的开建，虽然一些蒙难者家庭依然有意见。2006年4月港口事务管理局和拉里·希尔弗斯坦达成协议，希尔弗斯坦放弃建造1号和5号楼，换取使用自由公债建造2号、3号和4号楼的权利。2006年4月27日1号楼举行动工仪式。2006年5月理查德·罗杰斯和槙文彦分别被任命为3号楼和4号楼的建筑师。2号楼、3号楼和4号楼的最终设计于2006年9月7日公布。2号楼的楼顶高度为382米，上面还有一个三角的顶，其总高度为410米。3号楼的楼顶高度为352米，其天线的高度达到383米。4号楼的总高度为288米。2007年