称由来有两种说法，第一个说法是因为香港早年的建筑楼底较高，天花板加装吊扇便能凉风送爽，而售卖的食品又以红豆冰、咖啡、奶茶等西式饮品为主，以「饮冰」为卖点，故取名「冰室」。另有传说来自梁启超的朋友以「饮冰室」书斋之名经营食店，其名成为「冰室」之始。。广州话里的「冰」往往指「冷饮」，冷饮店称「冰室」，到冰室享用冷饮为「食冰」，喝冷饮为「饮冰」。
发展.广州冰室是随着西餐业发展而起，初时是餐室附设冰室，因广州气候炎热，饮水人多，于是有单独经营冰室的点档出现。1934年时总计有21间冰