曾任清朝湖北、江西、贵州巡抚。父曾留学日本。1920年，潘家辰随父到北京，入俄语专修馆学习俄语，受李大钊创办的马克思主义研究小组影响。1923年，经中共组织安排，去苏联莫斯科东方劳动者共产主义大学，学习兼做翻译。在赵世炎、刘伯坚、王若飞的帮助下，加入中国共产党。1925年，由于近千名中国留苏学生因语言困难不便交流和学习，潘家辰调入共产国际在莫斯科中山大学，教俄语，当翻译。在中山大学教学期间，他与学生庄东晓相识，并于1926年结婚。在留苏期间，潘家辰待人热情、性格豪爽，从不趋炎附势，受到王明等人的排挤和打