不包括情妇），子女多达30余人，其中较为着名者有四子何世威，曾在政府供职，担任华人永远坟场管理委员会秘书等职。此外，三女何爱瑜是何甘棠跟一位居住在上海的情妇本身是欧亚混血儿的张琼仙所收养的欧亚混血儿。何爱瑜是李小龙生母。当年何甘棠在家中开台看戏，李小龙的父亲李海泉是粤剧名伶，因工作关系在甘棠第邂逅何甘棠的女儿何爱瑜，及后李海泉与何爱瑜移居美国，生下李振藩，后称「李小龙」。依据大排行，何甘棠家族称为何五宅，何甘棠则为之取名为何昌善堂。
甘棠第.甘棠第为何甘棠住宅，始建于1914