客多以西方高层建筑为由而光顾，明治后期，热潮减却后，人流持续减少。1911年开设「十二层演艺厅」（）与1914年增加升降机数后，人流才有所增加，但不久后人流再度减少。凌云阁一带存在许多以经营的私娼店舖，久而久之就有以「十二层下的女性」（）来隐喻女性性工作者。1923年9月1日，关东地区发生严重地震，令建筑物的8层以上建筑倒塌。因持续的人流减少而令经营困难，同年9月23日决定将其爆破拆除。遗址其后建成电影院。