读元朗商会第二学校，且在毕业后，由于想在较大的球场踢足球，于是拣选凤溪第一中学作为升中首选志愿。本来打算当骑师及足球员的他在中三至中四阶段开始增高和近视加深而被迫放弃儿时志愿。林大辉出身基层家庭，自中二起已不断寻找暑期工，曾任面包店员工、跟车工人以及美罗针织厂与田氏塑胶厂工人等。直至中学毕业前，他的学业成绩一般。而羡慕当上纺织厂厂长的心愿则促使他在1978年中五毕业后报读香港理工学院课程。于1981年取得香港理工学院纺织工艺学文凭，便加入唐翔千位于荃湾的半岛针织厂，由练习生（机器维修员）做起，1989年离开