胡方回，安定临泾（今甘肃省镇原县）人。父胡义周，在后秦姚泓时任黄门侍郎。方回在夏国赫连屈丐执政时任中书侍郎。博览史籍，写有《统万城铭》、《蛇祠碑》等文。赫连昌被灭后，入北魏朝，起初不为北魏朝廷所重视，后为北镇司马。“为镇修表，有所称庆”，为太武帝所赏识，召为中书博士，赐爵临泾子，官至侍郎。