六国时后赵建立者羯族人石勒之妾程氏的哥哥。石勒起兵反西晋，他为左司马、将军，总领冀州七郡军事。被石勒宠信超过其他人。后来任吏部尚书、长乐郡太守、右司马、宁朔将军。光初二年（319年）他和其他大臣推举石勒为赵王，外甥石弘为太子。赵王四年（322年）执政张宾死后，他担任右长史，主管朝政。大将军石虎以邺城为根据地，他建议石勒营建邺城宫，派太子石弘镇守。石虎与他结仇。太和三年（330年）石勒称帝，程遐为尚书右仆射。多次劝石勒杀死石虎，对石勒说担心石虎他日不会辅佐石弘，石勒只当程遐认为石虎会妨碍他作为新君的舅舅擅