。1988年，他再度获得支持而连任。他曾在公务员薪酬事务常务委员会、公民谘询委员会担任委员一职。他亦曾为廉政公署的公关。1990年香港警方曾在深水埗扫黄时，发现潘志辉处身风月场所，潘志辉辩称是入内了解小姐生活。此事其后经传媒广泛报道。1991年立法局选举，地方选区首次举行直接选举，潘志辉亦有参与这次选举，循九龙东选区出选。最后，他不敌民主派的司徒华及李华明，以及观塘民众联谊会的侯瑞培，以排名第四的16,625票落败。此后，他退出其政治生涯。