政长官候选人唐英年的婚外情只属于「课外活动」，又指「人不风流枉少年」。结果惹来社会人士的批评，指其不尊重婚姻和女性，更极度贬低两性关系。另外，胡应湘热衷投资运输及基础建设项目。他曾投资兴建泰国曼谷的高架轻轨铁路、广深高速公路。而他也是伶仃洋大桥及港珠澳大桥的倡导者。胡应湘伉俪均为香港赛马会会员，曾育有马匹「各施各法」。
家庭.胡应湘已婚，妻子为郭秀萍，育有二女和二子，排行第三的儿子名胡文新，目前为合和实业集团的副董事总经理。