修文馆学士。齐亡入周，始家关内，遂为长安人焉。曾伯祖为颜师古，唐贞观年间秘书监，自有传。曾祖颜勤礼，崇文馆学士。祖父颜昭甫，曹王侍读。父亲颜元孙，垂拱初年登进士第，考功员外郎刘奇榜其词策，文瑰俊拔，多士耸观。历任长安尉、太子舍人、濠州刺史卒。与堂弟颜真卿同为颜师古五代孙，以文儒世家。颜杲卿，以廕生受官，个性刚直。在开元年间，出为魏州录事参军、遂州司法参军，振举纲目，政绩第一。天宝14年，迁范阳户曹参军，安禄山闻其名，上表为营田判官，出为常山太守。时安禄山为河北、河东采访使，常山在其部内。同年十一月，