市宝华路十六甫东街四巷的一座大宅里，是庶母之子，有两个同母弟，在八兄弟姊妹中则排行第六。幼年在西关生活，稍长时迁居沙面，就读于基督教的小学。1949年，时值国共内战后期，亲国民党的黄家逃难至英属香港，落户深水埗区。他在德贞小学读完五、六年级后，升上喇沙书院，因英文根底薄弱须从第七班开始读起。在学期间，据黄霑忆述：「中文老师黄干朗诵李清照、李后主诗(词)的那份投入，令我感动。」，他自此喜欢上中国文学，也在差不多时间开始向《中国学生周报》投稿。至于音乐方面，他最先接触的是口琴，十一岁拜在口琴家梁日昭门下