简笑娴在2001年过世对冯秉芬构成很大打击。冯秉芬与简笑娴共育有四子一女，长子冯庆麟在美国行医。二子冯庆彪医生为联合国儿童基金会香港委员会主席，三子和四子则继续打理家族业务。冯秉芬生前兴趣包括赛马、高尔夫球及游泳，他本人曾为多所会所的会员，其中包括香港会、香港高尔夫球会、香港乡村俱乐部、香港美国会、香港扶轮社、美国纽约的尼克巴克会（Knickerbocker）、天际会、探险家会、三藩市的波希米亚会及东京程谷乡村俱乐部等等。另外，冯爵士曾任香港壁球总会终身会员、香港中华游乐会荣誉主席及英皇御准香港赛马会名