将域多利军营交还香港政府，直1980年代中期前市政局决定将军营改建为香港公园，卡素楼则于1989年2月改建为香港视觉艺术中心（即香港公园第二期），以取代位于中环大会堂的旧址。中心于1992年4月28日由市政局主席梁定邦主持启用。卡素楼楼高三层，为爱德华时代古典复兴主义建筑。建筑物像楼梯般以四个阶级组成以迁就陡斜地势，在香港十分罕见。东西两面原设有拱形列柱组成的凉廊，但现时已被玻璃窗所封以增加楼面可用面积。砖砌外墙现被涂上灰色及粉红色，甚为抢眼。现时卡素楼已被列为香港一级历史建筑。