户出身，在家中排行第四，祖父霍达潮拥有风帆来往港澳间运输货物，父亲霍耀容继承祖业。1930年一次风灾中两名哥哥翻艇身亡，其后父亲患癌身故，霍母带同霍英东及一姐一妹上岸生活，在湾仔石水渠街居住。霍英东小时就读于帆船同业义学，后转往敦梅学校，1936年考入皇仁书院读中学，为图报国，取名「英东」即英武地屹立在世界的东方；二战香港沦陷期间被迫停学并从事苦力等工作谋生，其后霍家凑足资本，在湾仔鹅颈桥开办「有如杂货铺」。战后先以买卖各种物资获利。1950年代初朝鲜战争爆发后，港英政府据联合国决议，对中国大陆实行禁运