1878年刊登的《辕门报》称该校为曰字楼孤子院，1879年《辕门报》又称之为曰字楼男女馆。名为曰字楼，盖因般咸道校舍呈「曰」字形。这样命名实为一时的权宜，由此也可见该校创立之初还没有一定的中文名称。19世纪后期，香港华人称唿各校校名，往往以校长姓名代称。俾士校长在位近四十年，影响巨大，于是民间称该校为俾士书馆、俾士书院。且俾士微瘸，因此甚至有「阿跛书馆」的戏称。不过，这些名称皆不雅驯，校方乃将俾士更为近音的拔萃二字，确切更名时间今已难考，大约在1891年左右。1902年，随着英文名称的改变，中文也相应更名为