受委为该党党主席。但就在他受委的同一天，新加坡内政部发动了“冷藏行动”，逮捕了一百多位反对党领袖以及支持反对党的活跃分子，赛·扎哈利亦在这场行动中被捕。从1963年至1979年，赛·扎哈利在下被未经审讯地扣留了将近17年。期间，他辗转被扣留于欧南监狱、樟宜监狱、明月湾（Moon Crescent）监狱和乌敏岛。而他的妻子则通过经营小生意抚育他们的三名个子女成长。
纪录片禁映风波.2007年，新加坡电影导演根据赛·扎哈利的回忆录拍摄了一部纪录片《扎哈利的17年》（Zahari's 1