幼年在西关生活，稍长时迁居沙面，就读于基督教的小学。1949年，时值国共内战后期，亲国民党的黄家逃难至英属香港，落户深水埗区。他在德贞小学读完五、六年级后，升上喇沙书院，因英文根底薄弱须从第七班开始读起。在学期间，据黄霑忆述：「中文老师黄干朗诵李清照、李后主诗(词)的那份投入，令我感动。」，他自此喜欢上中国文学，也在差不多时间开始向《中国学生周报》投稿。至于音乐方面，他最先接触的是口琴，十一岁拜在口琴家梁日昭门下学艺，并跟随师傅为电影和电台节目吹奏配乐——古今中外各种乐曲，从而认识了许多大师，开启了