行第一已夭折的胞兄、四名胞姊和一名胞弟，父亲任职建筑公司地盘工人。早年于九龙秀茂坪邨前身的秀茂坪徙置区长大，曾就读冯氏宗亲会学校（1977年第5届小六上午校毕业），后在1982年毕业于观塘玛利诺书院文科班，与香港中文大学崇基学院神学院教授关瑞文及填词人陈少琪为同届同学（陈为理科班学生）。在中小学阶段时常名列前茅，只考获一次第六名；又会玩乒乓球和桥牌。黄一山其后因原校没有开设文科预科班而以4A1B1C2D（A：中国语文、地理、中国历史、经济与公共事务，B：世界历史，C：英国语文，D：数学、会计）的会考成绩转读