设置到有120米的高度限制（主水平基准以上），引来了附近居民的不满。谘询期内的284个申述中，有9成半以上的意见表示反对将柴湾工厂大厦发展为住宅，又要求地盘发展高度不可以超越现时的水平，并且应该对其更改成为发展文化及创意的场地，同时加以保育；意见又指，建筑物过高会影响通风，造成屏风楼的问题。其中位于港铁柴湾站上盖的新翠花园屋苑业主委员会连同882个签名反对该个高度限制。亦有东区区议员连同400个签名呈交反对意见，并且要求高限应低于21米，及保育原有的柴湾工厂大厦。
改建为公共房屋.