后来搬到苏屋邨彩雀楼。父亲许世昌是一位业余音乐家，闲时拉小提琴作消遣，母亲李倩云亦是粤剧爱好者。家中有四兄弟，其中四兄弟名字序为文、武、英、杰，许冠英排行第三，下面还有一个弟弟许冠杰。许冠英曾表示自小家穷，其中一项娱乐是晚上几兄弟一起做戏，长大后，大哥许冠文于香港中文大学社会学系毕业，后来成了影坛「冷面笑匠」；弟弟许冠杰于香港大学心理学系毕业，1970年代开创了香港粤语流行曲的潮流，退休后人人尊称他「歌神」。而许冠英亦顺利成章，成为「歌神哥」。许冠英没有唸上大学，毕业后做过办公室助理，后来入了邵