日本东京，父母均为东京帝国大学的中国留学生。父亲余遂辛为同盟会元老(1949年后为民革成员，国务院参事室参事)。6岁随父母回国。在老家浙江镇海度过了童年和少年时代。1924年入上海交通大学土木工程系，1928年毕业，进宁波白沙铁路机厂当练习生。次年赴美，入密歇根大学研究院学习铁路运输和公路建筑。1930年硕士毕业，先后做先后做过测量员、绘图员、货运员等工作，与美国铁路工人阶层密切接触，亲睹美国大萧条的社会现状，富家子弟出身的余光生受了共产主义思想，1931年“九一八”事变后在波士顿参加美洲华侨反帝大同盟