曾江祖籍广东中山吉大（今属珠海市市区的香洲区），在上海出生，父亲是越南华侨商人。外祖父是清代第一代接受外国教育的留学生。曾江有两名胞妹，早年在上海生活，1949年随家人迁居香港。来到香港生活时于香港岛中西区巴丙顿道12号的大宅居住，小时候已认识足球教练黄兴桂。他本来就读广州岭南学校上海分校的小学部与中学部（非现时的上海市岭南中学）；其时为寄宿生。而定居香港以后初时则先入读岭南中学，再转读香港华仁书院下午班。不久九龙华仁书院在1952年迁到旺角窝打老道56号现址，完成中三课程的曾江便随之而被校方安排在该校上