自从戴维斯于1846年搬到坚道居住之后，大楼曾多次易手，先后用作香港上海汇丰银行饭堂及俄罗斯领事馆。1879年起，大楼由汇丰银行董事庇理罗士所拥有。大楼于1890年更名为「比更士菲楼」（Beaconsfield House），以纪念当时英国首相本杰明·迪斯雷利（拱北爵士），而华人一般将其称为「拱北楼」。但值得留意的是，大楼北面亦有一座柏拱行（Beaconsfield Arcade），为香港首座多层购物商场，1960年4月重建后改称拱北行（Beaconsfield House）和今日的长江集团中心。