潘志辉在香港出生及成长，其后到美国北卡罗来纳州立农业技术大学升学。1978年，潘志辉返回香港，并进入九龙巴士公司担任公关顾问一职。1979年，潘志辉加入观塘区的地区委员会，开始其公共服务的生涯。其后，在1985年，他被委任为观塘区区议员。1985年立法局选举，他透过观塘地方选区成功加入立法局，而地方选区选举团则由该区区议员组成。1988年，他再度获得支持而连任。他曾在公务员薪酬事务常务委员会、公民谘询委员会担任委员一职。他亦曾为廉政公署的公关。1990年香港警方曾在深水埗扫黄时，发现潘志辉处