生有五子，分别为谷家泰、谷家华、谷家嵩、谷秀衡、五子谷家恒，分别以中国的五岳命名。长子谷家泰，台湾国立成功大学电机工程学士，后至美国留学，于罗格斯大学取得电机工程硕士，匹兹堡大学取得电机工程博士。曾任王安电脑台湾区总经理、吉悌电信公司总裁，并曾担任远传电信董事长徐旭东特别助理。长孙谷有为，与宝成集团总裁蔡其瑞之女蔡佩君结婚。五子谷家恆, 台湾国立台湾大学机械工程学士, 后至美国圣母大学取得机械工程硕士，博士学位。于1993年奉教育部创设国立高雄技术学院，并担任校长一职。1998年国立高雄技术学院改名为