曾为廉政公署的公关。1990年香港警方曾在深水埗扫黄时，发现潘志辉处身风月场所，潘志辉辩称是入内了解小姐生活。此事其后经传媒广泛报道。1991年立法局选举，地方选区首次举行直接选举，潘志辉亦有参与这次选举，循九龙东选区出选。最后，他不敌民主派的司徒华及李华明，以及观塘民众联谊会的侯瑞培，以排名第四的16,625票落败。此后，他退出其政治生涯。