集团总裁蔡其瑞之女蔡佩君结婚。五子谷家恆, 台湾国立台湾大学机械工程学士, 后至美国圣母大学取得机械工程硕士，博士学位。于1993年奉教育部创设国立高雄技术学院，并担任校长一职。1998年国立高雄技术学院改名为国立高雄第一科技大学担任首任校长，曾任中国科技大学校长。
评价.蒋经国于1978年7月22日的日记中写道:「谷正纲讲话太多，而且往往语无伦次，大家皆厌之、恶之，而他自己则得意洋洋，可悲。」