杰生于香港，父系曾祖父为英国人，所以他有八份一英国血统；而母系一方则有上海血统。他早年在九龙老虎岩徒置区五座（现为乐富邨）出生和成长，有一弟二妹。因祖父母辈有十二个子嗣，所以加以延伸后，其宗族亲戚众多。海俊杰的父亲是一名深谙蔡李佛拳的消防员。亦是经常和李小龙切磋武艺的同校同学。而爷爷是英籍上海百乐门歌手。在世时被其所属公司要求他改一个中文姓氏，于是在「Harrison」与上海话中，「上海」的「海」字读音相近的情况下，把其以后的家族姓氏定名为「海姓」。海俊杰小时候常到狮子山和联合道公园爬山。又会与邻居打架嬉戏