炳光娶吴门（苏州）周氏，生三女一子；其后周氏亡故，炳光续娶弟妇罗莲施表妹冯氏（Mary Fung），生三子。 由于施氏家族早期人丁未盛，故施炳光及其弟灿光之子女皆统一採用大排行相称。炳光早年入读拔萃书室。施炳光与同为香港欧亚混血儿的张德辉、冼德芬、陈启明为好友，后结拜为异姓兄弟。施氏兄弟汉英二语兼擅，炳光尝协理英国海关参赞清廷驻朝鲜钦差事务。施炳光与张德辉之女婿何东爵士亦为好友。施炳光有三女，分别嫁何福、何甘棠及冼德芬（Stephen Hall）之子。施炳光之子施玉麒为知名大律师、圣约翰座堂法政牧师，