教育委员会委员。任第2至4届全国政协委员，后任中央民族学院专门教授。1957年反右派斗争中被错划为右派分子，是人类学、民族学界五大右派(潘光旦、吴泽霖、黄现璠、吴文藻、费孝通)之一，因在土家族民族识别研究的成果而成为“破坏民族关系”的“罪名”。潘光旦和费孝通爱散步，傍晚时分，二人常到校门外散步，有些小学生争相围观，唿叫着那个大胖子（费孝通）是右派人物，并向他们扔石块。潘光旦文革时被抄家、批斗，在医院，潘光旦因膀胱及前列腺发炎成为危重的病人，却无任何治疗。1967年6月10日晚上，老保姆看到潘光旦情况不佳