香港出生。出生初年在香港岛西营盘第三街生活。约一至两岁随家人搬到九龙彩虹邨红萼楼（面向斧山道游泳池的单位）生活。他小时候会玩滑板，有一兄一姊；父亲是油漆工人，而母亲则是一名校工。潘灿良曾就读中华基督教会基华小学（1979年小六）和昔日是工业中学的中华基督教会基协中学。在校时的读书成绩较差，但于香港中学会考工业绘图科取得B级成绩。又参与过校内的篮球运动和话剧活动。他在1984年中五毕业后任职工业绘图员。因为觉得工作沉闷，加上发觉自己不能长期局限于一个工作空间之内去工作，于是入职两星期便转职牛奶公司标签员和跟车