ปี พ.ศ. 2450 ในขณะที่ไทยมีกรณีพิพาทอินโดจีนกับประเทศฝรั่งเศส ต้องแลกมณฑลบูรพากับเมืองตราดให้แก่ฝรั่งเศส ท่านตัดสินใจทิ้งยศถาบรรดาศักดิ์ ทั้งที่ฝรั่งเศสชวนท่านปกครองเมืองพระตะบองต่อ แต่ท่านกลับอพยพครอบครัวและบุตรหลานมาเป็นข้าราชการธรรมดา มาลาออกมาอยู่ที่จังหวัดปราจีนบุรี ในปี พ.ศ. 2460 ได้ทรงพระมหากรุณาพระราชทานนามสกุลแก่เจ้าพระยาอภัยภูเบศร (ชุ่ม) และผู้สืบเชื้อสายต่อจากนั้นไปว่า "อภัยวงศ์" หลังจากนั้นท่านได้บำเพ็ญประโยชน์ให้ประเทศชาติและจังหวัดปราจีนบุรีมากมาย เช่น บริจาคทรัพย์สร้างโรงเรียน โรงพยาบาล และที่สำคัญคือได้บูรณปฏิสังขรณ์วัดแก้วพิจิตรที่เมืองปราจีนบุรี โดยเป็นผู้อำนวยการก่อสร้างและออกแบบเอง และนับเป็นวัดประจำสกุล "อภัยวงศ์"