为孔子门生复圣颜回的第77代裔孙。颜家世代以诗书传家，祖父、父亲都是士儒。幼年时接受严格教育，熟读诗书经典。1949年，大陆变色后随政府流亡来台，随后报考警察学校，从一线一星的警员做起。21岁普通考试及格，22岁高等考试及格，同榜考中的还有林洋港及邱创焕。1958年，升任板桥、新庄副分局长。1959年，调任桃园县警局秘书。1962年2月，调任桃园县警察局户口室主任。1963年7月，升任花莲县警察局凤林分局分局长，为当年全国最年轻的分局长。1965年7月，调任台湾省政府警务处专员。