年先后在广州市法商学院、岭南大学、中山大学就读，1955年从武汉中南财经大学毕业，获经济学学士学位。 胡永辉后在中国水利部黄河水利委员会及计委工作。1962年秋移居香港，助兄（金王）胡汉辉发展地产。
名下马匹.胡永辉是香港赛马会会员，曾经与胡经华、胡经聪合伙育有马匹振翅高飞、飞越关山。