施荣怡、三弟施荣恆和四弟施荣忻。施荣怀早年于香港岛北角春秧街居住，分别就读苏浙小学（1974年第21届小六）和圣类斯中学（1979年第53届中五）。他小时候经常到工展会游览。在1981年中学预科毕业后，他先在香港浸会学院修读化学系文凭，再到美国威斯康星大学拉克罗斯分校完成化学系学士学位。施荣怀于1985年毕业后回港与大哥施荣怡及父亲一同经营生意。施荣怀本想继续进修或当大学教授，但因大哥希望他协助打理公司生意，所以最终决定留港帮忙。他当时负责当信差，又会到码头落货和到红磡货场堆积货品。累积经验后随大哥与父亲到