开始，世代居住在琅邪郡临沂县。着名人物有晋代西平靖侯颜含、南北朝时期的颜延之、颜之推、颜思鲁等人，和唐朝的颜师古、颜真卿和颜杲卿等名人。
历史渊源.根据颜真卿《颜氏家庙碑》记载，其先出于颛顼之孙祝融，融孙安，又名曹姓。唐林宝《元和姓纂》则记载为于颛顼之后陆终（即祝融之子），陆终第五子安，为曹姓。《史记·楚世家》中记载：“吴回为重黎后，复居火正，为祝融。吴回生陆终。陆终生子六人，诉剖而产焉。其长一曰昆吾，二曰参胡，三曰彭祖，四曰会人，五曰曹姓，六曰季连。”曹姓后裔曹挟在周武王时期