人迁居香港。来到香港生活时于香港岛中西区巴丙顿道12号的大宅居住，小时候已认识足球教练黄兴桂 。他本来就读广州岭南学校上海分校的小学部与中学部（非现时的上海市岭南中学）；其时为寄宿生。而定居香港以后初时则先入读岭南中学，再转读香港华仁书院下午班。不久九龙华仁书院在1952年迁到旺角窝打老道56号现址，完成中三课程的曾江便随之而被校方安排在该校上学，并在1954年毕业于九龙华仁书院中五年级。他自小的读书成绩不好，曾于岭南中学就学期间偷入教员室拿取历史科试卷。不过当转学之后了解到文字分析的重要性，便发愤学习。在